声明：《机器学习实战》代码详细注释和重构，以及相关的函数、模块和算法的解释；本文为博主原创文章，未经博主允许不得转载。

1. k-近邻算法（程序清单2-1）

*#代码：Peter Gong_shuai
*#中文注释：Gong_shuai
*#代码重构：Gong_shuai
*#函数注解：Gong_shuai
*#相关的函数、模块和算法的解释：Gong_shuai
*#环境：Python2.7、Sublime Text3、mac

2. 代码

#coding=utf-8
#k-近邻算法（程序清单2-1）

#代码：Peter  Gong_shuai
#中文注释：Gong_shuai
#代码重构：Gong_shuai
#函数注解：Gong_shuai
#环境：python2.7

from numpy import *
import operator


#创建数据集和标签
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

#伪代码：
    #对未知类别属性的数据集中的每个点依次执行以下操作:
       #(1)计算已知类别数据集中的点与当前点之间的距离;
       #(2)按照距离递增次序排序;
       #(3)选取与当前点距离最小的走个点;
       #(4)确定前灸个点所在类别的出现频率;
       #(5)返回前女个点出现频率最高的类别作为当前点的预测分类。

#函数说明：
        #1.tile（A，n）重复某个数组，将数组A重复n次，构成一个新的数组
           # >>>a = [0,1,2]
           # >>>b = tile(a,2)
           # b
           # array([0,1,2,0,1,2])
#k近邻算法
def classify0(inX, dataSet, labels, k):    #输入向量，输入的训练样本集，标签向量，选择最近邻的数目
    dataSetSize = dataSet.shape[0]    #距离计算
    diffMat = tile(inX, (dataSetSize,1)) - dataSet   #重复数组 
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     #选择距离最小的k个点 
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1   
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)    #排序
    return sortedClassCount[0][0]

group,labels = createDataSet()
print classify0([0,0], group, labels, 3)

3. 运行结果