【实战+代码+数据】Python机器学习随笔之logistic回归识别手写数字

作者：博观厚积

简书专栏：

https://www.jianshu.com/u/2f376f777ef1

前文传送门：

编者注：本文用logistic回归来识别多分类问题的手写数字，是之前logisitic回归二分类问题的延续，该篇文章关于其思想以及编程原理见本人之前文章，在这里只注重识别及其编程过程。

01数据准备

数据为Matlab加载格式（mat），包含y、X变量，数据来源为（大家可以去这下载）：

https://github.com/jdwittenauer/ipython-notebooks/blob/master/data/ex3data1.mat ，至于为什么要用Matlab格式，因为X是个矩阵不方便用excel之类软件来保存。

其中，X为5000X400维矩阵，5000代表5000个训练样本，400则代表每个训练样本（也就是手写数字图像）20 X20像素的灰度强度，随机选择其中100个样本，在Matlab可视化的结果如下：

y 是一个5000行1列的列向量，取值包括(1,2,3,4,5,6,7,8,9,10)T，注意，由于Matlab下标是从1开始的，故用 10 表示数字 0。在python中使用scipy导入mat数据，代码如下：

import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy.io import loadmat data = loadmat('E:\studypythonml\ex3data1.mat') data data['X'].shape, data['y'].shape

02 构建相关函数

在python中分别构建sigmoid、梯度下降、成本函数等。

这其中的编程思想在之前写的相关随笔：梯度下降法求解线性回归、logisitic回归等出现过，大家可以参考之前文章来了解构建函数的过程。特别注意的是，从最开始的求解一元线性回归时，都注重了将X变量的向量化，对于这里更复杂的X变量（矩阵形式）起到了作用，避免采用更复杂的code，如for循环来引入。

03 构建one vs all函数

对于logisitic多分类问题，在stanford Coursera公开课中有过专门介绍，所谓多分类问题，是指分类的结果为三类以上。其分类思想与二分类类似，对于k个类别，在预测某个类i的时候，将其作为一类，剩下的作为另一类，这样的话，就会有k个logisitic分类器，如下图：

就需要N个假设函数(预测模型)，也即需要N组模型参数θ，对于每一个类 i 训练一个逻辑回归模型的分类器h(i)θ(x)，并且预测 y = i时的概率；对于一个新的输入变量x, 分别对每一个类进行预测，取概率最大的那个类作为分类结果 。因此，在这里构建一个函数将分类器训练全部包含进去，这个函数计算10个分类器中每个分类器的最终权重，并将权重返回为一个k X（n + 1）数组，其中n是参数个数。如下：

from scipy.optimize import minimize def one_vs_all(X, y, num_labels, learning_rate):    rows = X.shape[0] #X的行数    params = X.shape[1]  #X的列数    # 对于k个分类器，构建k*（n+1）维向量组    all_theta = np.zeros((num_labels, params + 1))    # 在X第一列之前插入一列全为1的列向量作为常数项    X = np.insert(X, 0, values=np.ones(rows), axis=1)    # 对于y若将某个类别i拿出来之后剩下的类别构成一类    for i in range(1, num_labels + 1):        theta = np.zeros(params + 1)        y_i = np.array([1 if label == i else 0 for label in y])        y_i = np.reshape(y_i, (rows, 1))        # 采用梯度下降法最小化目标函数（cost）        fmin = minimize(fun=cost, x0=theta, args=(X, y_i, learning_rate), method='TNC', jac=gradient)        all_theta[i-1,:] = fmin.x    return all_theta rows = data['X'].shape[0] params = data['X'].shape[1] all_theta = np.zeros((10, params + 1)) X = np.insert(data['X'], 0, values=np.ones(rows), axis=1) theta = np.zeros(params + 1) y_0 = np.array([1 if label == 0 else 0 for label in data['y']]) y_0 = np.reshape(y_0, (rows, 1)) X.shape, y_0.shape, theta.shape, all_theta.shape np.unique(data['y']) all_theta = one_vs_all(data['X'], data['y'], 10, 1) all_theta

得到10个分类器的最优参数为：

04 得到预测值并与原值比较计算准确率

根据训练生成的all_theta参数构建预测函数，得到X对应的预测值

def predict_all(X, all_theta):    rows = X.shape[0]    params = X.shape[1]    num_labels = all_theta.shape[0]    # 与前相同，插入一列全部为1的列向量    X = np.insert(X, 0, values=np.ones(rows), axis=1)    # 转换为矩阵    X = np.matrix(X)    all_theta = np.matrix(all_theta)    # 计算每个训练实例上每个类的类概率    h = sigmoid(X * all_theta.T)    # 选取最高的那个概率为该实例的预测数字标签并构建数组    h_argmax = np.argmax(h, axis=1)    # 由于该数组在训练时是基于图片的0-9而预测的，所以要+1以匹配y    h_argmax = h_argmax + 1    return h_argmax

代入，得到预测精度

y_pred = predict_all(data['X'], all_theta) correct = [1 if a == b else 0 for (a, b) in zip(y_pred, data['y'])] accuracy = (sum(map(int, correct)) / float(len(correct))) print 'accuracy = {0}%'.format(accuracy * 100)

首先构建预测值函数，然后将该值与原始类别值0,1比较，计算其正确的精度，结果为97.46%。

写作不易，特别是技术类的写作，请大家多多支持，关注、点赞、转发等等，也欢迎大家关注.

赞赏作者

Python爱好者社区历史文章大合集：

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

小编的Python入门视频课程！！！

崔老师爬虫实战案例免费学习视频。

丘老师数据科学入门指导免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

丘老师Python网络爬虫实战免费学习视频。