感知機是SVM的基礎(chǔ)嘛，兩者都有線性二分類模型覆积，感知機原理比較簡單莲蜘，就是自變量是wx+b的符號函數(shù)，優(yōu)化函數(shù)就是所有誤分類點的幾何距離;SVM擴展就多一些士复，優(yōu)化函數(shù)是參數(shù)的L2范數(shù)图谷，也就是結(jié)構(gòu)風險最小化的翩活，可以通過核函數(shù)把低維不可分數(shù)據(jù)映射到高維，從而線性可分便贵，所以SVM也有非線性分類器菠镇。

支持向量機(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本承璃、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢利耍，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學習問題中[10]。

支持向量機方法是建立在統(tǒng)計學習理論的VC 維理論和結(jié)構(gòu)風險最小原理基礎(chǔ)上的盔粹，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓練樣本的學習精度隘梨，Accuracy）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力[14]（或稱泛化能力）舷嗡。

Vapnik是統(tǒng)計機器學習的大牛轴猎，這想必都不用說，他出版的《Statistical Learning Theory》是一本完整闡述統(tǒng)計機器學習思想的名著进萄。在該書中詳細的論證了統(tǒng)計機器學習之所以區(qū)別于傳統(tǒng)機器學習的本質(zhì)捻脖，就在于統(tǒng)計機器學習能夠精確的給出學習效果，能夠解答需要的樣本數(shù)等等一系列問題中鼠。與統(tǒng)計機器學習的精密思維相比可婶，傳統(tǒng)的機器學習基本上屬于摸著石頭過河，用傳統(tǒng)的機器學習方法構(gòu)造分類系統(tǒng)完全成了一種技巧援雇，一個人做的結(jié)果可能很好矛渴，另一個人差不多的方法做出來卻很差，缺乏指導和原則熊杨。

所謂VC維是對函數(shù)類的一種度量曙旭，可以簡單的理解為問題的復(fù)雜程度盗舰，VC維越高晶府，一個問題就越復(fù)雜。正是因為SVM關(guān)注的是VC維钻趋，后面我們可以看到川陆，SVM解決問題的時候，和樣本的維數(shù)是無關(guān)的（甚至樣本是上萬維的都可以蛮位，這使得SVM很適合用來解決文本分類的問題较沪，當然，有這樣的能力也因為引入了核函數(shù)）失仁。

感知機是將線性二分類問題視為在特征空間中尋找切分面(線)尸曼，根據(jù)不同的初始值會有很多種結(jié)果，但是如何找到最優(yōu)的切分面萄焦？

最大化分類間隔

?直觀上最有效

?概率的角度控轿，就是使得置信度最小的點置信度最大

?即使我們在選邊界的時候犯了小錯誤冤竹，使得邊界有偏移，仍 然有很大概率保證可以正確分類絕大多數(shù)樣本 然有很大概率保證可以正確分類絕大多數(shù)樣本 ?

很容易實現(xiàn)交叉驗證茬射，因為邊界只與極少數(shù)的樣本點有關(guān) ?

有一定的理論支撐(如VC維) ?

實驗結(jié)果驗證了其有效性

SVM主要用在線性可分支持向量機鹦蠕，線性支持向量機，非線性支持向量機在抛。線性支持向量機的思路是是的誤分類點最小钟病。非線性支持向量機將原始數(shù)據(jù)向高維特征空間映射，使得數(shù)據(jù)在新空 間內(nèi)線性可分刚梭。?最初想解決線性不可分（非線性）問題的思路是向高維空間轉(zhuǎn)化肠阱，使其變得線 性可分而轉(zhuǎn)化最關(guān)鍵的部分就在于找到映射方法可是如何找 性可分。而轉(zhuǎn)化最關(guān)鍵的部分就在于找到映射方法望浩∠剿可是，如何找 到這個映射磨德，沒有系統(tǒng)性的方法缘回。而且高維空間和映射函數(shù)也并不 是唯一的，過于復(fù)雜典挑，并且會導致維度災(zāi)難酥宴！ ?在線性SVM中的對偶形式中，目標函數(shù)和分離超平面都只需要計算 內(nèi)積您觉，只關(guān)心計算那個高維空間里內(nèi)積的值拙寡。不必顯式的給出映射 函數(shù)和值 函數(shù)和值。有沒有什么辦法只得到高維空間中向量的內(nèi)積呢琳水？答案是核函數(shù)(Kernel Function)肆糕。

SVM(支持向量機）的一般流程：

選擇一個核函數(shù)K（用以計算樣本內(nèi)積）

?選擇一個C值(參數(shù)，控制軟間隔程度以及防止過擬合)

?利用訓練樣本在孝，求解二次規(guī)劃問題(可以使用大量軟件 ?利用訓練樣本诚啃，求解二次規(guī)劃問題(可以使用大量軟件 包)

?根據(jù)支持向量與切分面構(gòu)造切分函數(shù)sign()

?根據(jù)切分函數(shù)，對測試樣本進行分類

SVM優(yōu)點

?有堅實理論基礎(chǔ)的新穎的小樣本學習方法 ?

平均而言私沮，在各類應(yīng)用中表現(xiàn)最佳 ?結(jié)果穩(wěn)定始赎、可重復(fù)，且不依賴于特定的優(yōu)化算法仔燕、數(shù)據(jù) ?

結(jié)果穩(wěn)定造垛、可重復(fù)，且不依賴于特定的優(yōu)化算法晰搀、數(shù)據(jù) ?

使用凸優(yōu)化可以得到全局解五辽，且使用2范數(shù)防止過擬合 ?

缺點 ?

?需要調(diào)節(jié)參數(shù)

核函數(shù)高維映射使得結(jié)果有時難以直觀理解 ?

有一定的計算復(fù)雜度