k-近邻算法的Python实现
(点击上方Python爱好者社区，可快速关注)
作者：徐永瑞 天津大学
本篇文章，想向各位介绍一个非常易于实现的机器学习算法：k-近邻算法，众所周知，k-近邻算法是非常常用的分类算法，现在给出k-近邻算法的官方解释：在一个样本数据集，也称作训练样本集，并且样本中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系，输入没有标签的新数据后，将新数据的每个特征与样本集中的数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据（最近邻）的分类标签。一般来说，我们只选择样本集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数，最后，选择k个最相似的数据中出现次数最多的分类，作为新数据的分类。通过寻找近邻来辅助分类可以提升分类的效率，简化分类的流程。
现在来介绍k-近邻算法的一般流程：
（1）收集数据：比如问卷法，观察法等等。
（2）准备数据：距离计算所需的数值，最好是结构化的数据格式。
（3）分析数据：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析等。
（4）训练算法：在k-近邻中一般不用。
（5）测试算法：计算错误率。
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。
介绍完了流程，我们开始导入数据，这次导入数据的代码环境依然选择python，首先我们需要有kNN.py的文件,关于kNN的源码，推荐各位上CodeForge网站上下载，该网站有很多有用的源码。
有了kNN的源码之后，我们可能还要编写一些基本的通用函数，在源码中增加下面的代码：
from numpy import * Import operator def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = [‘A’,’A’,’B’,’B’] return group ,labels在上面的代码中，我们导入了两个模块：第一个是科学计算包Numpy;第二个是运算符模块，k-近邻算法执行排序操作时将使用这个模块提供的函数。
现在我们来实施kNN算法，为每组数据分类，先给出其伪代码如下：
对未知类别属性的数据集中的每个点依次执行以下操作：
（1）计算已知类别数据集中的每个点与当前点之间的距离：
（2）按照距离递增次序排序；
（3）选取与当前距离最小的k个点；
（4）确定前k个点所在类别的出现频率；
（5）返回前k个点出现频率最高的类别作为当前点的预测分类。
K_近邻算法的python实现如下：
def classify0(inX,dataSet,labels,k): dataSetSize = dataSet.shape[0] diffMat = tile(inX,(dataSetSize,1))-dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distance = sqDistance**0.5 sortedDistIndicies = distance.argsort() classCount = {} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.iteritems),key = operator.itemgetter(1),reverse = True) return sortedClassCount[0][0]以上代码的目的主要是为了计算数据中的点与当前点的距离，根据计算的的距离结果，选择距离最小的k个点，随后对这k个点按照从大到小进行排序。（距离计算主要是欧式距离）
为了预测数据所在分类，在python提示符中输入下列命令：
kNN.classify0([0,0],group,labels,3)以上是我们用python构造的第一个分类器，这个分类器可以完成很多任务，我们初步完成了构造分类算法。之后的文章中，将会给给位介绍一下k近邻算法的案例，敬请期待～
关注公众号，“Python爱好者社区”，回复“爬虫”即可获取崔老师爬虫免费学习视频。
为大家提供与Python相关的最新技术和资讯。
长按指纹 > 识别图中二维码 > 添加关注