優(yōu)化目標(biāo)
考慮兩種情況索烹，時，根據(jù)樣本數(shù)據(jù)可以得到損失函數(shù)圖上分別如上左圖和上右圖所示，使用紫色線描繪的圖像替代原來的損失函數(shù)圖翎承，并記為
,
,得到SVM損失函數(shù)如下：
將邏輯回歸中的去掉橄妆，在第一項(xiàng)前面加上m 作為控制第一項(xiàng)和后面正則項(xiàng)權(quán)重的參數(shù)衙伶，即得到SVM的損失函數(shù)，當(dāng)
時害碾，兩個損失函數(shù)在形式上相等（但是實(shí)際上兩個參數(shù)沒有什么關(guān)聯(lián)）矢劲。
直觀上對大間隔的理解
當(dāng)我們用上面的圖代替原圖的時候，對于樣本y=1慌随，邏輯回歸中只要則會將樣本分類為1芬沉，但此時，需要
才可以阁猜。同樣的對于y=0,需要
當(dāng)C非常大的時候丸逸，為了最小化損失函數(shù)，我們希望能找到參數(shù)剃袍，使得損失函數(shù)的第一項(xiàng)等于0黄刚。
SVM也成為大間距分類器，因?yàn)樗馨褬颖咀畲缶嚯x的分開民效，兩條藍(lán)線之間的距離成為margin.
大間距分類器是在C設(shè)的非常大的情況下得出的憔维，并且在使用大間距分類器的時候，學(xué)習(xí)算法對異常點(diǎn)非常敏感畏邢，如果C設(shè)的非常大业扒，當(dāng)存在異常點(diǎn)的時候，決策邊界會變?yōu)橄聢D紫線部分棵红，如果C沒有設(shè)的很大凶赁，則決策邊界仍然是黑線：
當(dāng)C的大小適當(dāng)?shù)臅r候，SVM會實(shí)現(xiàn)很好的分類逆甜，即使是非線性可分的數(shù)據(jù)虱肄，也會處理的很好。
SVM的數(shù)學(xué)原理
當(dāng)SVM損失函數(shù)中的C很大的時候交煞，為了最小化損失函數(shù)咏窿，第一項(xiàng)趨近于0，則我們的目的變成最小化損失函數(shù)中的正則項(xiàng)素征，假設(shè)只存在兩個特征集嵌，萝挤，
可表示為坐標(biāo)圖中所示。
核函數(shù) Kernels
????????利用SVM構(gòu)構(gòu)造復(fù)雜的非線性分類器
當(dāng)我們需要一個非線性決策邊界的時候我們可以構(gòu)造一個多項(xiàng)式模型根欧，當(dāng)多項(xiàng)式大于零的時候我們認(rèn)為類別為1怜珍，否則為0.我們構(gòu)造一個新的多項(xiàng)式模型表示我們新的模型，其中
為我們要選擇的特征凤粗，那么酥泛，為了構(gòu)造一個好的非線性分類器，我們應(yīng)該選擇什么特征呢嫌拣。
特征構(gòu)建
給定一個樣本,我們要尋找一些新的特征來表示他柔袁，在坐標(biāo)系中選擇三個點(diǎn)，即landmark异逐，分別為
,定義
的新的特征為
與這些點(diǎn)的相似度,即
,其中捶索，這個相似度的測量函數(shù)就成為kernel，核函數(shù)灰瞻，上圖中利用的核函數(shù)為高斯核函數(shù)腥例。實(shí)際上，核函數(shù)的種類有很多箩祥，目前最常用且效果最好的就是高斯核函數(shù)院崇。
因此肆氓，核函數(shù)用來為樣本x構(gòu)造了新的特征袍祖。f 測量了樣本到lanmark
之間的距離，這個距離在（0,1）之間谢揪。具體的變化如下圖所示蕉陋，以高斯核函數(shù)為例：
當(dāng)，樣本
與標(biāo)記
相同即
時拨扶，其位于上圖的頂點(diǎn)
位置凳鬓，隨著x離標(biāo)記
的距離擴(kuò)大，他慢慢下移到
患民。隨著
的不斷擴(kuò)大缩举，下移的速度越來越慢。在完成特征選擇以后匹颤，我們來看預(yù)測函數(shù)會變成什么樣：
預(yù)測函數(shù)
當(dāng)我們根據(jù)相似度構(gòu)建出新的特征以后仅孩，我們可以表示我們新的預(yù)測模型：假設(shè)預(yù)測模型為當(dāng)時
。假設(shè)我們已經(jīng)通過某種算法得到參數(shù)
的值赦肃，對于摸一個樣本x,如上圖坐標(biāo)圖中的紫色的點(diǎn)溅蛉，我們可以看出其距離
較近公浪，因此
,距離
較遠(yuǎn)，因此
,帶入預(yù)測模型中船侧，如紫色公式所示欠气，結(jié)果為0.5>0,因此樣本的預(yù)測標(biāo)簽
。同理可計(jì)算途中藍(lán)色點(diǎn)與綠色的點(diǎn)镜撩。經(jīng)計(jì)算可知距離
較近的點(diǎn)分類為1晃琳，距離他們較遠(yuǎn)的點(diǎn)分類為0，因此琐鲁，決策邊界可能為圖中紅線所示卫旱。
標(biāo)記的選擇
在構(gòu)造特征之間，我們先要進(jìn)行標(biāo)記的選擇围段，一種方法就是顾翼，將訓(xùn)練集中每一個樣本點(diǎn)都看做一個標(biāo)記，這樣有m個樣本點(diǎn)奈泪，就能得到m個標(biāo)記适贸，這樣就相當(dāng)于特征函數(shù)計(jì)算了每一個樣本點(diǎn)到樣本集中其他樣本點(diǎn)的距離。具體過程如下：
給定樣本集涝桅，將樣本集中的每一個點(diǎn)都視為標(biāo)記拜姿，計(jì)算每一個點(diǎn)到其他所有點(diǎn)的相似度，得到m維特征向量冯遂。對于某一個樣本點(diǎn)蕊肥，就得到了它的m維特向量
,在這個向量中，肯定有一個是樣本點(diǎn)本身與自己的相似度值蛤肌，既有一個
,所以有一個特征值為1壁却。這樣對于每一個樣本點(diǎn)，都有一個m維的特征向量裸准≌苟可也以將
加進(jìn)去，形成m+1維向量炒俱。
在有核函數(shù)的情況下盐肃，對于具有m個樣本的訓(xùn)練集，給定樣本x,首先根據(jù)核函數(shù)找到樣本點(diǎn)的特征向量f,特征的構(gòu)建通過計(jì)算樣本點(diǎn)與樣本集中其他樣本點(diǎn)之間的相似度獲得权悟；通過損失函數(shù)最小化求得參數(shù)砸王，此時正則項(xiàng)對所有的參數(shù)進(jìn)行懲罰，一共有m個參數(shù)僵芹，因?yàn)樵谶M(jìn)行正則化的時候通常會忽略常數(shù)处硬。在包含核函數(shù)的SVM中，通常會把正則項(xiàng)寫成上圖藍(lán)色的形式
拇派，進(jìn)行特征縮放荷辕，在計(jì)算時能提高計(jì)算效率凿跳。
參數(shù)C的效果與原正則系數(shù)相似，當(dāng)C較大的時候疮方，類似于較小的
控嗜，會產(chǎn)生過擬合，使得偏差較小而方差較大骡显；當(dāng)C較小的時候疆栏，會產(chǎn)生欠擬合，偏差較大而方差較小惫谤。對于核函數(shù)中的參數(shù)
壁顶，當(dāng)其較大的時候，特征向量變化較慢溜歪，表示樣本x 的變化較為平緩若专，此時容易產(chǎn)生欠擬合，即高偏差蝴猪，低方差调衰；當(dāng)其較小的時候，表示樣本x的曲線較為迅速自阱，因此容易產(chǎn)生過擬合嚎莉，即低偏差，高方差沛豌。
使用SVM
可以使用SVM軟件包來實(shí)現(xiàn)SVM趋箩，如果要自己進(jìn)行SVM，則要選擇合適的參數(shù)C和核函數(shù)琼懊。比如阁簸，你可以不使用核函數(shù)爬早，這也等價于使用線性核函數(shù)哼丈，這適合于樣本數(shù)量較少的情況，因?yàn)闃颖緮?shù)量少的時候筛严，若構(gòu)造太多特征醉旦，容易產(chǎn)生過擬合。你也可以選擇高斯核函數(shù)桨啃，這適合樣本數(shù)目較多的情況车胡。
在進(jìn)行核函數(shù)算法計(jì)算時，首先要定義一個核函數(shù)照瘾，線性核函數(shù)和高斯核函數(shù)是最常用的核函數(shù)匈棘。同時，在使用高斯核函數(shù)之前析命，一定要進(jìn)行特征縮放主卫。比如逃默，要進(jìn)行放假預(yù)測，特征有房屋面積1000平方簇搅，房間數(shù)量1-5等完域，如果不進(jìn)行特征縮放，在進(jìn)行計(jì)算的時候瘩将，數(shù)量級較小的特征的影響力可能會被縮小甚至被忽略吟税。
除了線性核函數(shù)和高斯核函數(shù)，也可以使用其他相似函數(shù)作為核函數(shù)姿现，但是并不是所有的函數(shù)都能作為核函數(shù)肠仪，能作為核函數(shù)的函數(shù)都必須滿足一個定理——默塞爾定理。這個定理保證所有的SVM工具包的優(yōu)化算法能正確的運(yùn)行备典，因?yàn)樵龠M(jìn)行SVM計(jì)算的時候藤韵，運(yùn)用了很多數(shù)值技巧以求得參數(shù)，而這些技巧的滿足都是在符合默塞爾定理的基礎(chǔ)上進(jìn)行的熊经。除了高斯核函數(shù)和線性核函數(shù)泽艘，以下還有幾個其他的核函數(shù)和，但并不常用：
和邏輯回歸進(jìn)行多分類問題一樣镐依，SVM首先將其中一個類別同其他類別分類匹涮，再區(qū)分第二類與其他的類別，依次區(qū)分不同的類別槐壳。
當(dāng)n>m時然低，選擇邏輯回歸或線性核函數(shù)；如果n較小务唐，m適中雳攘，則選擇高斯核函數(shù)的SVM；若n很小而樣本數(shù)m很大枫笛，則可以創(chuàng)造更多特征吨灭，然后選擇邏輯回歸或線性核函數(shù)。
邏輯回歸和線性核函數(shù)再計(jì)算上非常相似刑巧，同一問題兩種方法的表現(xiàn)可能一樣好喧兄，也可能有一種會優(yōu)于另一種。
神經(jīng)網(wǎng)絡(luò)可能更適合與多種情況啊楚，但是神經(jīng)網(wǎng)絡(luò)訓(xùn)練起來較為緩慢吠冤，而且SVM求出的結(jié)果是全局最優(yōu)，使用它的時候不用擔(dān)心局部最優(yōu)的情況恭理。
在進(jìn)行學(xué)習(xí)算法選擇的時候拯辙，更重要的是你有多少數(shù)據(jù)，你有多熟練颜价，是否擅長做誤差分析和排除學(xué)習(xí)涯保，設(shè)定新的特征變量等饵较，這些問題比選擇一個算法更重要。
