支持向量機(jī)算法support vector machine(SVM),被視為感知器perceptron的擴(kuò)展。perceptron的目的是最小化代價(jià)函數(shù)計(jì)算出來(lái)的誤差,而SVM的思想是最大化邊界(Margin),邊界是分類的超平面和對(duì)應(yīng)類別最近的樣本點(diǎn)之間的距離
支持向量圖示
大的邊界意味著泛化能力很強(qiáng)
Paste_Image.png
處理非線性可分的情況
引進(jìn)松弛變量(slack variables),這個(gè)變量來(lái)調(diào)節(jié)對(duì)于誤差的容忍度
Paste_Image.png
Paste_Image.png
對(duì)比線性SVM和Logistic回歸
Logistic回歸是最大化似然函數(shù)
SVM關(guān)注的是決定決策邊界的支持向量