支持向量機
最初用于解決線性問題，加入核方法后可以用于解決非線性問題泡垃。能適應(yīng)“小樣本數(shù)量析珊、高特征維度”問題，甚至是特征維度大于樣本數(shù)量的情況蔑穴。
目標(biāo)：使得與超平面最近的樣本點（支持向量）的距離最大化忠寻。
軟間隔：為了減少噪聲點的影響，允許計算超平面時訓(xùn)練集中存在錯誤數(shù)據(jù)存和，防止過擬合奕剃。
兩個方面的權(quán)衡：1.分類要盡量準(zhǔn) 2.間隔要盡可能大
引入松弛因子，可以調(diào)節(jié)上述兩個方面的權(quán)重
對于非線性可分?jǐn)?shù)據(jù)捐腿，可通過將原始低微特征映射到高維特征的方法纵朋，使得其線性可分。如下公式茄袖，可將特征從二維擴展到三維操软。
svm使用拉格朗日乘子法實現(xiàn)升維。通過拉格朗日乘子法最后可以將求超平面參數(shù)w的目標(biāo)轉(zhuǎn)換為用高維中數(shù)據(jù)點向量兩兩點積（dot-product）值求解的二次規(guī)劃問題（有約束情況下的求極值問題宪祥，可用SMO算法）聂薪。因此，SVM 無須真的將所有訓(xùn)練數(shù)據(jù)映射到高維空間蝗羊，而只需知道這些數(shù)據(jù)在高維空間里兩兩之間的點積即可藏澳。
核函數(shù)（Kernel Function）：一種輸入兩個低維空間向量、返回高維空間點積的函數(shù)耀找。
通用核函數(shù)：
引用
1.從機器學(xué)習(xí)到深度學(xué)習(xí)：基于scikit-learn與tensorflow的高效開發(fā)實戰(zhàn)
