k-近鄰算法學(xué)習(xí)筆記：
from numpy import *
import operator
def create_data_set():
"""
生成數(shù)據(jù)
"""
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify0(inX, dataSet, labels, k):
"""
k-相鄰算法：
---------
labels的元素數(shù)目必須和矩陣dataSet的行數(shù)相等
使用歐氏距離公式：
--------------
d = 」(xA0 - xB0 )**2 + (xA1 - xB1 )**2
:param inX: 用于分類的輸出向量
:param dataSet: 輸入的訓(xùn)練樣本集
:param labels: 標(biāo)簽向量
:param k: 選擇最近鄰居的數(shù)量
:return:
"""
# >>> a = np.array([0, 1, 2])
# >>> b = np.tile(a, (2, 1))
# >>> b = array([[0,1,2],[0,1,2]])
# >>> b.shape[0]
# >>> 2
data_set_size = dataSet.shape[0]
# 距離計算
# -------
# **為冪運算，優(yōu)先級為右結(jié)合
# 2**2**3 --> 2**(2**3) --> 2**8 --> 256
# >>> a = np.array([0, 1, 2])
# >>> np.tile(a, 2)
# >>> array([0,1,2,0,1,2]) 一維數(shù)組
# >>> np.tile(a, (1, 2))
# >>> array([[0,1,2,0,1,2]])
# >>> np.tile(a, (2, 1))
# >>> array([[0,1,2],[0,1,2]]) 二維數(shù)組
# >>> np.tile(a, (2, 1, 2))
# >>> array([[[0,1,2,0,1,2]],[0,1,2,0,1,2]]) 三維數(shù)組
# diff_mat得到的結(jié)果為 [(xA0 - xB0 ) , (xA1 - xB1 )]
diff_mat = tile(inX, (data_set_size, 1)) - dataSet
# sq_diff_mat得到的結(jié)果為 [(xA0 - xB0 )**2 , (xA1 - xB1 )**2]
sq_diff_mat = diff_mat**2
# sq_distances 得到的結(jié)果為 [(xA0 - xB0 )**2 + (xA1 - xB1 )**2, ...]
sq_distances = sq_diff_mat.sum(axis=1)
# distances 得到的結(jié)果為 sq_distances 開根
distances = sq_distances**0.5
# argsort()返回的是數(shù)組值從小到大的索引值
# 得到的是距離給定點由近到遠(yuǎn)其他點的排序。
# >>> [ 1.48660687 , 1.41421356 , 0. , 0.1 ]
# >>> [2 3 1 0]
sorted_dist_indicties = distances.argsort()
class_count = {}
# 選擇距離最小的k個點
for i in range(k):
# vote_i_label 得到的是距離該點最近的點的所屬分類
vote_i_label = labels[sorted_dist_indicties[i]]
# 統(tǒng)計分類的出現(xiàn)次數(shù)
class_count[vote_i_label] = class_count.get(vote_i_label, 0) + 1
sorted_class_count = sorted(class_count.items(), key=operator.itemgetter(1), reverse=True)
return sorted_class_count[0][0]
