1. SVM歷史背景和趣聞
SVM（Support Vector Machine）病袄，支持向量機(jī)蝶糯，是一種經(jīng)典的用于分類或回歸的機(jī)器學(xué)習(xí)方法琉雳。
Vapnik等人在多年研究統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上對(duì)線性分類器提出了另一種設(shè)計(jì)最佳準(zhǔn)則，其原理從線性可分說起割笙，然后擴(kuò)展到線性不可分的情況权烧，甚至擴(kuò)展到使用非線性函數(shù)中去，這種分類器被稱為支持向量機(jī)（Support Vector Machine伤溉，簡(jiǎn)稱SVM）般码。支持向量機(jī)的提出有很深的理論背景，其理論基礎(chǔ)不是那么的好理解乱顾，詳細(xì)的理論介紹板祝，請(qǐng)參考Vapnik等人的論文
Cortes Corinna 和 Vapnik Vladimir N? "Support-vector networks".?Machine Learning.?20?(3): 273–297.?
Andrew Ng老師說，當(dāng)時(shí)machine這個(gè)詞非常的時(shí)髦走净，為了讓自己的觀點(diǎn)和idea能夠被關(guān)注券时，Support-vector networks 改名為Support Vector Machine孤里。這也解釋了，很多文獻(xiàn)中說橘洞，SVM 又叫?Support-vector networks捌袜。
由于SVM方法有很強(qiáng)數(shù)學(xué)理論基礎(chǔ)，SVM被大量使用在圖片識(shí)別炸枣，語音識(shí)別上虏等，都取到了很好的效果，成為了90年代到現(xiàn)在較為流行的算法
90年代适肠，在貝爾實(shí)驗(yàn)室里博其，Yann Lecun和 Vapnik 常常就 神經(jīng)網(wǎng)絡(luò)和 SVM 兩種技術(shù)的優(yōu)缺點(diǎn)，常常討論得非常的深入迂猴，慢慢的形成了SVM方法的支持者和神經(jīng)網(wǎng)絡(luò)的信徒。
Scholkopf是Vapnik的大弟子背伴，支持向量機(jī)與核方法研究的領(lǐng)軍人物沸毁。據(jù)Scholkopf說，Vapnik當(dāng)初發(fā)明支持向量機(jī)就是想’干掉’神經(jīng)網(wǎng)絡(luò)（He wanted to kill Neural Network)傻寂。支持向量機(jī)確實(shí)很有效息尺，一段時(shí)間支持向量機(jī)一派占了上風(fēng)。
很多人都認(rèn)為SVM是兩成的神經(jīng)網(wǎng)絡(luò)疾掰。
近年來搂誉，神經(jīng)網(wǎng)絡(luò)一派的大師Hinton又提出了神經(jīng)網(wǎng)絡(luò)的Deep Learning算法，使神經(jīng)網(wǎng)絡(luò)的能力大大提高静檬，可與支持向量機(jī)一比炭懊。Deep Learning假設(shè)神經(jīng)網(wǎng)絡(luò)是多層的，首先用Restricted Boltzmann Machine學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)拂檩，然后再通過Back Propagation學(xué)習(xí)網(wǎng)絡(luò)的權(quán)值侮腹。關(guān)于Deep Learning的命名，Hinton曾開玩笑地說: I want to call SVM shallow learning. (注：shallow 有膚淺的意思)稻励。其實(shí)Deep Learning本身的意思是深層學(xué)習(xí)父阻，因?yàn)樗僭O(shè)神經(jīng)網(wǎng)絡(luò)有多層。
參考文獻(xiàn)《神經(jīng)網(wǎng)絡(luò)從被人忽悠到忽悠人(五)》
Andrew Ng老師說望抽，Deep Learning的名字來源加矛，也因?yàn)镈eep Learning方便媒體宣傳，本質(zhì)還是多層神經(jīng)網(wǎng)絡(luò)煤篙，但Deep Learning這個(gè)名字比多層神經(jīng)網(wǎng)絡(luò)更酷斟览，更適合大眾理解和媒體宣傳。
很多實(shí)踐結(jié)果表明：之所以Deep Learning最近這么火舰蟆，的確是因?yàn)殡S著大數(shù)據(jù)趣惠、算力狸棍、算法的發(fā)展，其分類效果遠(yuǎn)好于SVM味悄。下圖是就同一個(gè)分類問題草戈，用不同的方式，獲得的結(jié)果：
