綜述
1.1 Cover和Hart在1968年提出了最初的鄰近算法
1.2 分類(classification)算法
1.3 輸入基于實例的學(xué)習(xí)(instance-based learning), 懶惰學(xué)習(xí)(lazy learning)例子：
未知電影屬于什么類型？
-
算法詳述
3.1 步驟：
為了判斷未知實例的類別钻弄，以所有已知類別的實例作為參照
選擇參數(shù)K
計算未知實例與所有已知實例的距離
選擇最近K個已知實例
根據(jù)少數(shù)服從多數(shù)的投票法則(majority-voting)侍郭，讓未知實例歸類為K個最鄰近樣本中最多數(shù)的類別3.2 細節(jié):
關(guān)于K
關(guān)于距離的衡量方法:
3.2.1 Euclidean Distance 定義
其他距離衡量：余弦值（cos）, 相關(guān)度 （correlation）, 曼哈頓距離 （Manhattan distance）
3.3 舉例
-
算法優(yōu)缺點：
4.1 算法優(yōu)點
簡單
易于理解
容易實現(xiàn)
通過對K的選擇可具備丟噪音數(shù)據(jù)的健壯性4.2 算法缺點
需要大量空間儲存所有已知實例
算法復(fù)雜度高（需要比較所有已知實例與要分類的實例）
當(dāng)其樣本分布不平衡時收夸，比如其中一類樣本過大（實例數(shù)量過多）占主導(dǎo)的時候杜恰，新的未知實例容易被歸類為這個主導(dǎo)樣本幅虑，因為這類樣本實例的數(shù)量過大棍厌，但這個新的未知實例實際并木接近目標(biāo)樣本
- 改進版本
考慮距離悼粮，根據(jù)距離加上權(quán)重
比如: 1/d (d: 距離）
