這篇文章主要參考了如下兩篇博文层释，并加入了自己的理解。
前言
這篇文章首先探討了SVM為什么會(huì)對(duì)噪聲敏感的問(wèn)題笑陈，然后引出了解決辦法——軟間隔分類器际度，接著介紹了松弛變量和懲罰因子，并介紹了樣本偏斜的解決辦法新锈，最后有一個(gè)總結(jié)甲脏。
SVM為什么會(huì)對(duì)噪聲敏感？
之前看周志華老師的《機(jī)器學(xué)習(xí)》里說(shuō)SVM對(duì)噪聲敏感妹笆，后來(lái)查了一些資料块请，然后有了自己的理解，在這里做一個(gè)總結(jié)拳缠。
SVM的基本形態(tài)是一個(gè)硬間隔分類器墩新，它要求所有樣本都滿足硬間隔約束(即函數(shù)間隔要大于1)，所以當(dāng)數(shù)據(jù)集有噪聲點(diǎn)時(shí)窟坐，SVM為了把噪聲點(diǎn)也劃分正確海渊，超平面就會(huì)向另外一個(gè)類的樣本靠攏绵疲，這就使得劃分超平面的幾何間距變小，降低模型的泛化性能臣疑。除此之外盔憨，當(dāng)噪聲點(diǎn)混入另外一個(gè)類時(shí)，對(duì)于硬間隔分類器而言讯沈，這就變成了一個(gè)線性不可分的問(wèn)題郁岩，于是就使用核技巧，通過(guò)將樣本映射到高維特征空間使得樣本線性可分缺狠，這樣得到一個(gè)復(fù)雜模型问慎，并由此導(dǎo)致過(guò)擬合（原樣本空間得到的劃分超平面會(huì)是彎彎曲曲的，它確實(shí)可以把所有樣本都劃分正確挤茄，但得到的模型只對(duì)訓(xùn)練集有效）如叼。
如何克服？
為了解決上述問(wèn)題穷劈，SVM通過(guò)引入松弛變量構(gòu)造了軟間隔分類器笼恰，它允許分類器對(duì)一些樣本犯錯(cuò)，允許一些樣本不滿足硬間隔約束條件囚衔，這樣做可以避免SVM分類器過(guò)擬合挖腰，于是也就避免了模型過(guò)于復(fù)雜，降低了模型對(duì)噪聲點(diǎn)的敏感性练湿，提升了模型的泛化性能猴仑。
因?yàn)樗沙谧兞渴欠秦?fù)的，因此樣本的函數(shù)間隔可以比1小肥哎。函數(shù)間隔比1小的樣本被叫做離群點(diǎn)辽俗，我們放棄了對(duì)離群點(diǎn)的精確分類，這對(duì)我們的分類器來(lái)說(shuō)是種損失篡诽。但是放棄這些點(diǎn)也帶來(lái)了好處崖飘，那就是超平面不必向這些點(diǎn)的方向移動(dòng)，因而可以得到更大的幾何間隔（在低維空間看來(lái)杈女，分類邊界也更平滑）朱浴。顯然我們必須權(quán)衡這種損失和好處。
軟間隔分類器的優(yōu)化問(wèn)題如下所示达椰，后面開始介紹松弛變量和懲罰因子翰蠢。
松弛變量
松弛變量表示樣本離群的程度，松弛變量越大啰劲，離群越遠(yuǎn)梁沧，松弛變量為零，則樣本沒有離群蝇裤。
懲罰因子
懲罰因子表示我們有多重視離群點(diǎn)帶來(lái)的損失廷支，當(dāng)C取無(wú)窮大時(shí)频鉴，會(huì)迫使超平面將所有的樣本都劃分正確，這就退化成了硬間隔分類器恋拍。
懲罰因子是事先指定的值垛孔，對(duì)應(yīng)于libsvm庫(kù)的參數(shù)C。
每個(gè)松弛變量對(duì)應(yīng)的懲罰因子可以不一樣芝囤。
我們可以用懲罰因子來(lái)解決樣本偏斜的問(wèn)題似炎。
什么是樣本偏斜，這會(huì)帶來(lái)什么后果
樣本偏斜是指數(shù)據(jù)集中正負(fù)類樣本數(shù)量不均悯姊，比如正類樣本有10000個(gè)，負(fù)類樣本只有100個(gè)贩毕，這就可能使得超平面被“推向”負(fù)類（因?yàn)樨?fù)類數(shù)量少悯许，分布得不夠廣），影響結(jié)果的準(zhǔn)確性辉阶。
如何解決
可以通過(guò)為正負(fù)類樣本設(shè)置不同的懲罰因子來(lái)解決樣本偏斜的問(wèn)題先壕。具體做法是為負(fù)類設(shè)置大一點(diǎn)的懲罰因子，因?yàn)樨?fù)類本來(lái)就少谆甜，不能再分錯(cuò)了垃僚，然后正負(fù)類的懲罰因子遵循一定的比例（如下文三種情況所述），具體值要通過(guò)實(shí)驗(yàn)確定规辱。
三種情況：
（1）首先谆棺，如果是因?yàn)椴蓸拥玫降臉颖?b>不夠多樣性或者數(shù)量不夠而導(dǎo)致的樣本偏斜(分布范圍不均)，可以通過(guò)衡量正負(fù)類分布的程度來(lái)確定懲罰因子的比例罕袋。比如計(jì)算它們?cè)诳臻g中占據(jù)的體積改淑，例如給負(fù)類找一個(gè)超球（就是高維空間里的球），它要包含所有負(fù)類的樣本浴讯，再給正類找一個(gè)朵夏，比較兩個(gè)球的半徑，就可以大致確定分布的情況榆纽。顯然半徑大的分布比較廣仰猖，就給小一點(diǎn)的懲罰因子。
（2）但是奈籽，如果是因?yàn)檎?fù)類本身性質(zhì)所導(dǎo)致的分布范圍不均饥侵，此時(shí)即使超球半徑差異很大，也不應(yīng)該賦予兩個(gè)類別不同的懲罰因子唠摹。例如文本分類中爆捞，某些話題涉及的面很窄，例如計(jì)算機(jī)類的文章就明顯不如文化類的文章那么“天馬行空”勾拉，這就會(huì)導(dǎo)致它們的超球半徑差異很大煮甥，但這是由它們自身性質(zhì)決定的盗温，與樣本多樣性和數(shù)量多少無(wú)關(guān)，換言之成肘，這個(gè)時(shí)候不存在樣本偏斜的問(wèn)題卖局。
（3）但是，實(shí)際中我們不會(huì)這么做双霍，因?yàn)閷?shí)在太麻煩了砚偶，當(dāng)正負(fù)類數(shù)量不均時(shí)，比如正負(fù)類數(shù)量比為100：1洒闸，則懲罰因子的比例直接就定為1:100（libsvm中就是這么做的）染坯。
總結(jié)
SVM是一個(gè)使用核技巧的軟間隔分類器，它的完整形態(tài)如前式所示丘逸。
若令懲罰因子C為無(wú)窮大单鹿，則SVM退化為硬間隔分類器，此時(shí)使用線性核只能處理線性可分的樣本（因?yàn)閷?duì)于線性不可分的樣本深纲，無(wú)法找到一個(gè)超平面可以正確劃分所有樣本仲锄，于是模型參數(shù)不存在可行解）；
若令懲罰因子C為適當(dāng)值湃鹊，則使用線性核的SVM可以處理線性或近線性的樣本（這是因?yàn)榇藭r(shí)允許分類器在某些樣本上出錯(cuò)儒喊，所以對(duì)于近線性的樣本，可以找到一個(gè)超平面將大部分樣本正確劃分）币呵。
我們當(dāng)然要令C為適當(dāng)值怀愧，畢竟軟間隔分類器對(duì)噪聲沒那么敏感。
轉(zhuǎn)載請(qǐng)注明如下內(nèi)容：
文章來(lái)自簡(jiǎn)書富雅，作者：就是楊宗
原文鏈接：http://www.reibang.com/p/8a499171baa9
