上篇文章介紹了KNN 算法的原理铸豁，今天來介紹如何使用KNN 算法識別手寫數(shù)字熙卡？
1芍锦，手寫數(shù)字數(shù)據(jù)集
手寫數(shù)字數(shù)據(jù)集是一個用于圖像處理的數(shù)據(jù)集，這些數(shù)據(jù)描繪了 [0, 9] 的數(shù)字裹虫，我們可以用KNN 算法來識別這些數(shù)字肿嘲。
MNIST 是完整的手寫數(shù)字數(shù)據(jù)集，其中包含了60000 個訓練樣本和10000 個測試樣本筑公。
sklearn 中也有一個自帶的手寫數(shù)字數(shù)據(jù)集：
- 共包含 1797 個數(shù)據(jù)樣本雳窟，每個樣本描繪了一個 88* 像素的 [0, 9] 的數(shù)字。
- 每個樣本由 65 個數(shù)字組成：
- 前 64 個數(shù)字是特征數(shù)據(jù)匣屡，特征數(shù)據(jù)的范圍是 [0, 16]
- 最后一個數(shù)字是目標數(shù)據(jù)涩拙，目標數(shù)據(jù)的范圍是 [0, 9]
我們抽出 5 個樣本來看下：
0,0,5,13,9,1,0,0,0,0,13,15,10,15,5,0,0,3,15,2,0,11,8,0,0,4,12,0,0,8,8,0,0,5,8,0,0,9,8,0,0,4,11,0,1,12,7,0,0,2,14,5,10,12,0,0,0,0,6,13,10,0,0,0,0
0,0,0,12,13,5,0,0,0,0,0,11,16,9,0,0,0,0,3,15,16,6,0,0,0,7,15,16,16,2,0,0,0,0,1,16,16,3,0,0,0,0,1,16,16,6,0,0,0,0,1,16,16,6,0,0,0,0,0,11,16,10,0,0,1
0,0,0,4,15,12,0,0,0,0,3,16,15,14,0,0,0,0,8,13,8,16,0,0,0,0,1,6,15,11,0,0,0,1,8,13,15,1,0,0,0,9,16,16,5,0,0,0,0,3,13,16,16,11,5,0,0,0,0,3,11,16,9,0,2
0,0,7,15,13,1,0,0,0,8,13,6,15,4,0,0,0,2,1,13,13,0,0,0,0,0,2,15,11,1,0,0,0,0,0,1,12,12,1,0,0,0,0,0,1,10,8,0,0,0,8,4,5,14,9,0,0,0,7,13,13,9,0,0,3
0,0,0,1,11,0,0,0,0,0,0,7,8,0,0,0,0,0,1,13,6,2,2,0,0,0,7,15,0,9,8,0,0,5,16,10,0,16,6,0,0,4,15,16,13,16,1,0,0,0,0,3,15,10,0,0,0,0,0,2,16,4,0,0,4
使用該數(shù)據(jù)集，需要先加載：
>>> from sklearn.datasets import load_digits
>>> digits = load_digits()
查看第一個圖像數(shù)據(jù)：
>>> digits.images[0]
array([[ 0., 0., 5., 13., 9., 1., 0., 0.],
[ 0., 0., 13., 15., 10., 15., 5., 0.],
[ 0., 3., 15., 2., 0., 11., 8., 0.],
[ 0., 4., 12., 0., 0., 8., 8., 0.],
[ 0., 5., 8., 0., 0., 9., 8., 0.],
[ 0., 4., 11., 0., 1., 12., 7., 0.],
[ 0., 2., 14., 5., 10., 12., 0., 0.],
[ 0., 0., 6., 13., 10., 0., 0., 0.]])
我們可以用 matplotlib 將該圖像畫出來：
>>> import matplotlib.pyplot as plt
>>> plt.imshow(digits.images[0])
>>> plt.show()
畫出來的圖像如下耸采，代表 0：
2，sklearn 對 KNN 算法的實現(xiàn)
sklearn 庫的 neighbors 模塊實現(xiàn)了KNN 相關(guān)算法工育，其中：
-
KNeighborsClassifier類用于分類問題 -
KNeighborsRegressor類用于回歸問題
這兩個類的構(gòu)造方法基本一致虾宇，這里我們主要介紹 KNeighborsClassifier 類，原型如下：
KNeighborsClassifier(
n_neighbors=5,
weights='uniform',
algorithm='auto',
leaf_size=30,
p=2,
metric='minkowski',
metric_params=None,
n_jobs=None,
**kwargs)
來看下幾個重要參數(shù)的含義：
- n_neighbors：即 KNN 中的 K 值如绸，一般使用默認值 5嘱朽。
-
weights：用于確定鄰居的權(quán)重旭贬，有三種方式：
- weights=uniform，表示所有鄰居的權(quán)重相同搪泳。
- weights=distance稀轨，表示權(quán)重是距離的倒數(shù)，即與距離成反比岸军。
- 自定義函數(shù)奋刽，可以自定義不同距離所對應(yīng)的權(quán)重，一般不需要自己定義函數(shù)艰赞。
-
algorithm：用于設(shè)置計算鄰居的算法佣谐，它有四種方式：
- algorithm=auto，根據(jù)數(shù)據(jù)的情況自動選擇適合的算法方妖。
- algorithm=kd_tree狭魂，使用 KD 樹 算法。
- KD 樹是一種多維空間的數(shù)據(jù)結(jié)構(gòu)党觅，方便對數(shù)據(jù)進行檢索雌澄。
- KD 樹適用于維度較少的情況，一般維數(shù)不超過 20杯瞻，如果維數(shù)大于 20 之后镐牺，效率會下降。
- algorithm=ball_tree又兵，使用球樹算法任柜。
- 與KD 樹一樣都是多維空間的數(shù)據(jù)結(jié)構(gòu)。
- 球樹更適用于維度較大的情況沛厨。
- algorithm=brute宙地，稱為暴力搜索。
- 它和 KD 樹相比逆皮，采用的是線性掃描宅粥，而不是通過構(gòu)造樹結(jié)構(gòu)進行快速檢索。
- 缺點是电谣，當訓練集較大的時候秽梅，效率很低。
-
leaf_size：表示構(gòu)造 KD 樹或球樹時的葉子節(jié)點數(shù)剿牺，默認是 30企垦。
- 調(diào)整 leaf_size 會影響樹的構(gòu)造和搜索速度。
3晒来，構(gòu)造 KNN 分類器
首先加載數(shù)據(jù)集：
from sklearn.datasets import load_digits
digits = load_digits()
data = digits.data # 特征集
target = digits.target # 目標集
將數(shù)據(jù)集拆分為訓練集（75%）和測試集（25%）：
from sklearn.model_selection import train_test_split
train_x, test_x, train_y, test_y = train_test_split(
data, target, test_size=0.25, random_state=33)
構(gòu)造KNN 分類器：
from sklearn.neighbors import KNeighborsClassifier
# 采用默認參數(shù)
knn = KNeighborsClassifier()
擬合模型：
knn.fit(train_x, train_y)
預測數(shù)據(jù)：
predict_y = knn.predict(test_x)
計算模型準確度：
from sklearn.metrics import accuracy_score
score = accuracy_score(test_y, predict_y)
print score # 0.98
最終計算出來模型的準確度是 98%钞诡，準確度還是不錯的。
4，總結(jié)
本篇文章使用KNN 算法處理了一個實際的分類問題荧降，主要介紹了以下幾點：
- 介紹了sklearn 中自帶的手寫數(shù)字集接箫，并用 matplotlib 模塊畫出了數(shù)字圖像。
- 介紹了sklearn 中
neighbors.KNeighborsClassifier類的用法朵诫。 - 使用
KNeighborsClassifier來識別手寫數(shù)字辛友。
（本節(jié)完。）
推薦閱讀：
