支持向量機
我們要像線性分類器一樣找到一個超平面，不僅能夠對數(shù)據(jù)點進行一個準確的分隔负乡，同時我們希望所有的點盡量都能夠遠離我們的超平面。
一般來說，我們查找最近點和超平面之間的最大距離腻格，上圖中就是兩邊的Margin和最大。
超平面作為二分類器啥繁，如果wx+b>0菜职， 判斷類別y為1, 否則判定為-1。
衡量平面到數(shù)據(jù)集的距離遠近的標準旗闽，需要函數(shù)間隔和幾何間隔酬核。
函數(shù)間隔
如果正確劃分，函數(shù)間隔的值永遠為正數(shù)适室。值越大嫡意，說明點離平面越遠，分類的可靠程度更高
幾何間隔
表示點到超平面的距離捣辆。
但是該間距是帶符號的蔬螟，所以為了取正值，我們可以通過乘以y獲得汽畴。(f(x)為正時y為1旧巾，f(x)為負時y為-1）
下圖為正值的幾何間距。
SVM基本形式
我們可以發(fā)現(xiàn)忍些，如果同時擴大w和b的相同倍數(shù)鲁猩，既擴大函數(shù)間隔n倍，則分子擴大n倍罢坝，分母也同時擴大n倍廓握，那么幾何間距實際上不受影響。
我們通過同時縮放ω和b讓距離超平面最近的那些樣本點的函數(shù)間隔為1嘁酿。那么最近點函數(shù)間隔為1隙券，其余點函數(shù)間隔大于1.（為啥取1，是因為方便計算）
那么我們可以得出SVM的基本形式闹司。
求解模型
根據(jù)上述約束娱仔，我們根據(jù)拉格朗日函數(shù)進行轉換，變?yōu)橐韵聠栴}：
通過計算上式的拉格朗日乘子：阿爾法a开仰，我們可以得到最優(yōu)解的 w 和 b拟枚。
低維映射到高維解決線性不可分問題
當超平面無法進行分割時，我們該怎么辦众弓？
一個合適的思路是將樣本從原始空間映射到一個更高維的特征空間恩溅，使得樣本在這個特征空間內(nèi)線性可分。
比如上圖谓娃，無法線性分割脚乡。如果原來的數(shù)據(jù)是 x ，我們給它增加一個維度 x2，從一維變成二維奶稠，數(shù)據(jù)就變成了這樣
回到一維中俯艰，其實就是這樣的一條曲線 x2 - x = 0：
核函數(shù)
我們通過映射函數(shù)講上面問題轉換為
由于樣本 xi 和 xj 映射到特征空間之后的內(nèi)積因為維數(shù)可能很高，所以比較難直接計算锌订。為了避開這個障礙竹握，我們設計了“核函數(shù)”（kernel function），這個函數(shù)使得 xi 和 xj 在特征空間的內(nèi)積等于它們在原始樣本空間中通過核函數(shù) k(xi, xj) 計算的結果辆飘。
這樣我們就避免了求映射函數(shù)啦辐，只通過一個核函數(shù)就可以在低維空間完成高維空間中才能完成的事！
如果特征維度為 n 蜈项，映射的階數(shù)為 d芹关，那我們可以得到的結果是：
屏幕快照 2018-02-28 下午12.29.46.png
