KNN模型概括
- KNN是非線(xiàn)性算法，可以用于分類(lèi)，也可以用于回歸問(wèn)題峡竣。
- 對(duì)于新的實(shí)例，根據(jù)其K個(gè)最近鄰的訓(xùn)練實(shí)例的類(lèi)別量九，通過(guò)多數(shù)表決方式處理分類(lèi)問(wèn)題适掰，通過(guò)均值方式處理回歸問(wèn)題。
- K近鄰不具有顯示的學(xué)習(xí)過(guò)程荠列，實(shí)際上利用訓(xùn)練數(shù)據(jù)集對(duì)特征空間進(jìn)行劃分类浪，并作為其分類(lèi)或者回歸的模型。
- K近鄰包含三個(gè)要素肌似，K值的選擇费就，距離度量，分類(lèi)決策規(guī)則等等川队；
- KNN思想簡(jiǎn)單力细，對(duì)outlier不敏感，但是計(jì)算復(fù)雜度較高固额，通過(guò)構(gòu)建kd樹(shù)眠蚂，提高KNN的搜索效率。（KNN適用于樣本量遠(yuǎn)遠(yuǎn)大于特征維數(shù)的情況）
如何提高K近鄰搜索的效率斗躏？
傳統(tǒng)方法是線(xiàn)性?huà)呙枋呕郏?jì)算輸入實(shí)例與每個(gè)已標(biāo)樣本的距離；
kd樹(shù)方法：二叉樹(shù)，表示對(duì)k維空間的一個(gè)劃分笛臣；
構(gòu)建kd樹(shù)
搜索kd樹(shù)
