都說SVM有三寶：間隔、對偶、核技巧
圖1
1.線性可分SVM
感知機(jī)找出將線性可分?jǐn)?shù)據(jù)劃分開的超平面，線性可分SVM是在尋找最優(yōu)的那一條舰蟆！
1.1 幾何角度看線性可分SVM
對與如圖2所示的線性可分?jǐn)?shù)據(jù)集趣惠，我們需要找一條可以將數(shù)據(jù)分開的直線狸棍，這樣的直線有很多。那么如何找到最優(yōu)的那一條呢味悄？
圖2
圖2所示的兩個(gè)超平面都可以將訓(xùn)練數(shù)據(jù)劃分開草戈，但是如果測試數(shù)據(jù)上出現(xiàn)了圖3的情況，綠線所示的超平面依然可以將數(shù)據(jù)劃分開侍瑟，但是黑線所示的超平面的測試誤差就沒那么好了唐片。
圖3
1.2 轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問題
我們通常使用硬間隔最大化的策略，下面我們進(jìn)行推導(dǎo)：
設(shè)訓(xùn)練集為,超平面為
我們的目的就是找到最優(yōu)的
和
涨颜。
首先該超平面需要滿足條件：
設(shè)：
則：
即：
令：
得： .........公式(1)
=
為點(diǎn)到超平面的距離费韭，距離超平面最近的點(diǎn)使得上式(1)等號(hào)成立。這些點(diǎn)稱為支持向量庭瑰，兩個(gè)異類到超平面的距離的和為
我們稱他為間隔星持。所以最大間隔策略可以表示為
等價(jià)于
所以優(yōu)化問題轉(zhuǎn)化為：
