SVM（support vector machine）：是一種二分類模型楼雹，將訓(xùn)練數(shù)據(jù)映射到特征空間中咱旱，通過(guò)超平面將樣本一分為二的有監(jiān)督學(xué)習(xí)方法允坚。
數(shù)學(xué)定義：假定特征空間中的訓(xùn)練集
漫试，其中极谊，
是第i個(gè)樣本的屬性在特征空間的映射稱為特征向量诡右；
，-1稱為負(fù)類轻猖，+1稱為正類帆吻；
稱為樣本點(diǎn)。假定此訓(xùn)練集是線性可分的咙边，SVM的學(xué)習(xí)目標(biāo)就是找到特征空間中的一個(gè)超平面猜煮，將訓(xùn)練集一分為二。如圖所示：
SVM的學(xué)習(xí)模型分為三種（由簡(jiǎn)至繁）：
一败许、線性可分支持向量機(jī)
定義：通過(guò)給定的線性可分訓(xùn)練集T王带，學(xué)習(xí)得到分類的超平面：
，
從而得到?jīng)Q策函數(shù)：
市殷，稱決策函數(shù)為線性可分支持向量機(jī)愕撰。
從定義可知，學(xué)習(xí)目標(biāo)是確定參數(shù)w, b醋寝， 如何確定w, b就是本文所要解決的問(wèn)題搞挣。
分割訓(xùn)練集的超平面可以有很多，我們是選擇
我們通過(guò)求間隔最大的超平面來(lái)確定參數(shù)w, b。
問(wèn)題：為什么要求間隔最大的超平面嗅绰？
解答：在圖1中有A舍肠、B、C三個(gè)樣本點(diǎn)办陷，均為正實(shí)例貌夕。其中，A距離超平面最遠(yuǎn)民镜，那么A被劃分為正例的確信度高啡专。C距離超平面距離最近，那么C被劃分為正例的確信度低制圈。B介于AC之間们童，確信度也處于AC之間畔况。因此，想要更好的劃分訓(xùn)練集慧库，應(yīng)該尋求訓(xùn)練集到超平面的間隔最大化跷跪。
1.函數(shù)間隔、幾何間隔齐板、間隔最大化
上面說(shuō)到一個(gè)實(shí)例距離超平面的遠(yuǎn)近可以用于度量分類預(yù)測(cè)的確信度吵瞻，即
在超平面確定的情況下，可用（點(diǎn)到直線的距離）表示分類的準(zhǔn)確度甘磨。同時(shí)橡羞，
與
的符號(hào)是否一致判斷分類的正確性。因此可以用
度量分類預(yù)測(cè)的正確性與確信度济舆，這就是函數(shù)間隔卿泽。
函數(shù)間隔：對(duì)于給定超平面
與訓(xùn)練集T，
- 超平面（w, b）關(guān)于樣本點(diǎn)
的函數(shù)間隔：
)
- 超平面（w, b）關(guān)于訓(xùn)練集T的函數(shù)間隔：
即找到所有樣本點(diǎn)中距離超平面最近的那個(gè)點(diǎn)的函數(shù)間隔作為整個(gè)訓(xùn)練集的函數(shù)間隔
但是要想找到最好的超平面滋觉，僅僅知道函數(shù)間隔是不夠签夭，因?yàn)閣 , b 可以成比例改變比如（kw, kb）, 那么函數(shù)間隔就變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=k%5Cwidehat%7B%5Cgamma%20%7D" alt="k\widehat{\gamma }" mathimg="1">。為了找到確定的超平面椎侠，考慮規(guī)范化第租，即
幾何間隔：對(duì)于給定超平面
- 超平面（w, b）關(guān)于樣本點(diǎn)
)
- 超平面（w, b）關(guān)于訓(xùn)練集T的幾何間隔：
即找到所有樣本點(diǎn)中距離超平面最近的那個(gè)點(diǎn)的幾何間隔作為整個(gè)訓(xùn)練集的幾何間隔 。
上面幾何間隔也給出了幾何間隔與函數(shù)間隔關(guān)系宣羊。w, b 成比例變化成比例變化璧诵，但是幾何間隔并不變化。
支持向量機(jī)學(xué)習(xí)的基本思想：求解能夠正確劃分訓(xùn)練集并且能夠最大化幾何間隔的超平面仇冯。
直觀來(lái)說(shuō)就是不僅要能夠正確分類而且還要把最難分的點(diǎn)也能分清楚之宿。比如圖3中都能正確劃分訓(xùn)練集苛坚，但是有部分樣本點(diǎn)距離
非常近容易劃分錯(cuò)誤比被，所以
是最好的選擇。
學(xué)習(xí)目標(biāo)：最大化間隔
目標(biāo)是最大化幾何間隔等缀，同時(shí)該間隔要作為訓(xùn)練集的幾何間隔，這也是這個(gè)最優(yōu)化問(wèn)題的約束條件娇昙。
有了學(xué)習(xí)目標(biāo)尺迂，考慮構(gòu)建之間的關(guān)系，找到能夠最大化γ的w, b值噪裕，就可以確定超平面了蹲盘。因此，學(xué)習(xí)目標(biāo)可以轉(zhuǎn)化為
學(xué)習(xí)目標(biāo)：最大化間隔
之前說(shuō)過(guò)函數(shù)間隔變化并不影響幾何間隔膳音，即不影響最優(yōu)化的結(jié)果召衔。因此，這里可以設(shè)置
祭陷。至此苍凛，得到了最終的學(xué)習(xí)目標(biāo)：
學(xué)習(xí)目標(biāo)：最大化間隔
求解最優(yōu)化問(wèn)題的方法，這里通過(guò)構(gòu)建拉格朗日函數(shù)求解最優(yōu)解颗胡。不使用梯度下降法的原因是此時(shí)解空間是受約束的毫深。接下來(lái)介紹最優(yōu)解的求解過(guò)程。
