什么是支持向量機(jī)
支持向量機(jī)（SVM）是一種二分類(lèi)模型，它的基礎(chǔ)模型時(shí)定義在特征空間上的間隔最大的線性分類(lèi)器掐隐。如下圖：
支持向量機(jī)當(dāng)訓(xùn)練模型線性可分時(shí)狗热，可以通過(guò)硬間隔最大化，學(xué)習(xí)一個(gè)線性的模型虑省，上圖就是一個(gè)硬間隔最大化的模型匿刮。當(dāng)訓(xùn)練數(shù)據(jù)近似線性不可分時(shí)，使用軟間隔支持向量機(jī)探颈。當(dāng)線性不可分時(shí)熟丸，使用核函數(shù)和軟間隔最大化來(lái)學(xué)習(xí)。本文主要講述硬間隔支持向量機(jī)的推導(dǎo)過(guò)程伪节。
硬間隔支持向量機(jī)
對(duì)于一個(gè)線性可分的數(shù)據(jù)集光羞，劃分平面有很多绩鸣，我們需要找到一個(gè)最具魯棒性的平面，即超平面纱兑，來(lái)劃分?jǐn)?shù)據(jù)集呀闻。什么才是最具魯棒性，我們將在后面講解潜慎。
首先定義超平面的線性方程,w和b就是需要求解：
i點(diǎn)到超平面的距離幾何間隔(即距離)為：
對(duì)于存在最小值捡多，即距離平面最近的點(diǎn)：
這里就要提到上面的最具魯棒性，需要最具魯棒性就需要將最大化铐炫，簡(jiǎn)單來(lái)說(shuō)垒手，就是要找到距離超平面最近的點(diǎn)，同時(shí)這些點(diǎn)距離超平面的間隔要近可能的大倒信，這些點(diǎn)我們稱(chēng)之為支持向量科贬，也就是我們需要保留的點(diǎn)。我們寫(xiě)成數(shù)學(xué)公式：
將定義為
,于是上面的式子可以寫(xiě)成：
對(duì)面上面式子鳖悠，我們可以用=1,代替榜掌，相對(duì)于對(duì)數(shù)據(jù)點(diǎn)進(jìn)行了等比例縮放，不影響求解的w和b乘综。同時(shí)最大化
和最小化
等價(jià)唐责，再次化簡(jiǎn)：
這就是最終要求解的最優(yōu)化問(wèn)題。
求解方程瘾带，對(duì)偶問(wèn)題
對(duì)于求解線性可分支持向量機(jī)的最優(yōu)化問(wèn)題鼠哥，需要應(yīng)用到拉格朗日對(duì)偶問(wèn)題(PS.請(qǐng)自行查閱)。
首先構(gòu)建拉格朗日函數(shù)：
根據(jù)拉格朗日對(duì)偶問(wèn)題看政，原始問(wèn)題的對(duì)偶問(wèn)題就是
先求解朴恳，分別對(duì)w和b的偏導(dǎo)為0，可得到：
將上述式子帶入L(w,b,)中：
如何求解允蚣，需要用到SMO算法于颖，這個(gè)算法比較復(fù)雜，簡(jiǎn)單來(lái)說(shuō)就是選取兩個(gè)參數(shù)
和
,固定
和
以為的參數(shù),然后求解式子嚷兔，更新兩個(gè)參數(shù)森渐。最后求出
,通過(guò)
和KKT條件求出w，b求解為某個(gè)支持向量帶入得到的解：
KKT條件：
軟間隔支持向量機(jī)
在上面的基礎(chǔ)上約束條件,其實(shí)就是表示有些點(diǎn)可以跨過(guò)超平面冒晰，獲得更加寬松的條件：
對(duì)于每個(gè)松弛變量同衣，支付一個(gè)代價(jià)，于是目標(biāo)函數(shù)變成了：
核函數(shù)
對(duì)于線性不可分的數(shù)據(jù)集壶运，可以把數(shù)據(jù)集映射到高緯度空間耐齐，實(shí)現(xiàn)線性可分。
1 線性核函數(shù)
線性?xún)?nèi)核是最簡(jiǎn)單的內(nèi)核函數(shù)。 它由內(nèi)積<x埠况，y>加上可選的常數(shù)c給出耸携。 使用線性?xún)?nèi)核的內(nèi)核算法通常等于它們的非內(nèi)核對(duì)應(yīng)物，即具有線性?xún)?nèi)核的KPCA與標(biāo)準(zhǔn)PCA相同辕翰。表達(dá)式 ：
2 多項(xiàng)式核函數(shù)
多項(xiàng)式核是非固定內(nèi)核夺衍。 多項(xiàng)式內(nèi)核非常適合于所有訓(xùn)練數(shù)據(jù)都?xì)w一化的問(wèn)題。
這是我做的筆記：
表達(dá)式：
3 高斯核可調(diào)參數(shù)是斜率α喜命，常數(shù)項(xiàng)c和多項(xiàng)式度d刷后。
高斯核是徑向基函數(shù)核的一個(gè)例子。
或者渊抄，它也可以使用來(lái)實(shí)現(xiàn)
可調(diào)參數(shù)sigma在內(nèi)核的性能中起著主要作用，并且應(yīng)該仔細(xì)地調(diào)整到手頭的問(wèn)題丧裁。 如果過(guò)高估計(jì)护桦，指數(shù)將幾乎呈線性，高維投影將開(kāi)始失去其非線性功率煎娇。 另一方面二庵，如果低估，該函數(shù)將缺乏正則化缓呛，并且決策邊界將對(duì)訓(xùn)練數(shù)據(jù)中的噪聲高度敏感催享。
4指數(shù)的內(nèi)核
指數(shù)核與高斯核密切相關(guān)，只有正態(tài)的平方被忽略哟绊。 它也是一個(gè)徑向基函數(shù)內(nèi)核因妙。
表達(dá)式：
5 拉普拉斯算子核
拉普拉斯核心完全等同于指數(shù)內(nèi)核，除了對(duì)sigma參數(shù)的變化不那么敏感票髓。 作為等價(jià)的攀涵，它也是一個(gè)徑向基函數(shù)內(nèi)核。
表達(dá)式：
重要的是注意洽沟，關(guān)于高斯內(nèi)核的σ參數(shù)的觀察也適用于指數(shù)和拉普拉斯內(nèi)核以故。
