《機器學習實戰(zhàn)》讀書筆記6

支持向量機算法概述

支持向量機(Support Vector Machines桑阶,SVM)這個算法的名字很抽象衣厘,簡單的說窖梁,它也是一種分類器。之所以稱為“機”是因為它是一種會產(chǎn)生一個二值決策結(jié)果的算法髓考,“機”等于“算法”。

支持向量機的泛化錯誤率較低弃酌,也就是說它具有良好的學習能力氨菇,且學習到的結(jié)果具有很好的推廣性儡炼,并且基本形式的SVM分類器不加修改即可直接使用〔槿兀基于這些優(yōu)點乌询,有人認為它是監(jiān)督學習中最好的定式算法。

優(yōu)點:泛化錯誤率低豌研,計算開銷不大妹田,結(jié)果易理解。
缺點:對參數(shù)調(diào)節(jié)和核函數(shù)的選擇敏感鹃共,原始分類器不加修改僅適用于處理“二分類”問題鬼佣。
適用數(shù)據(jù)類型:數(shù)值型和標稱型數(shù)據(jù)。

入門案例

原書中的案例比較晦澀難懂霜浴,找到一個“深入淺出”的案例晶衷。

工作原理

支持向量機試圖通過求解一個二次優(yōu)化問題來最大化分類間隔(間隔越大說明分類越準確)。應用“序列最小優(yōu)化算法 ”(Sequential Minimal Optimization坷随,SMO)房铭,能夠?qū)⒋髢?yōu)化問題分解為多個小優(yōu)化問題來求解。這些小優(yōu)化問題往往很容易求解温眉,并且對它們進行順序求解的結(jié)果與將它們作為整體來求解的結(jié)果是完全一致的缸匪。在結(jié)果完全相同的同時,SMO算法的求解時間短很多类溢。

為便于理解概念凌蔬,上面的入門案例最開始提供的數(shù)據(jù)是線性可分的,得到的是“分割直線” 闯冷。但在現(xiàn)實中砂心,數(shù)據(jù)往往是“非線性”可分的,但這類數(shù)據(jù)中也存在可識別的分類模式蛇耀。所以SVM還要搭配稱為“核函數(shù)”(kernel)的工具辩诞,它可以將數(shù)據(jù)從低維空間映射到高維空間,因此可以將一個在低維空間中的非線性問題轉(zhuǎn)換成高維空間下的線性問題來求解纺涤。

一般流程

1.收集數(shù)據(jù):可以使用任何方法译暂;
2.準備數(shù)據(jù):需要數(shù)值型數(shù)據(jù);
3.分析數(shù)據(jù):可視化分隔超平面撩炊;
4.訓練算法:SVM的大部分時間都源自訓練外永,該過程主要實現(xiàn)兩個參數(shù)的調(diào)優(yōu);
5.測試算法:十分簡單的計算過程就可以實現(xiàn)拧咳;
6.使用算法:幾乎所有分類問題都可以使用SVM伯顶,值得一提的是,SVM本身是一個二類分類器,地多類問題應用SVM需要對代碼做一些修改祭衩。

可使用場景

1.圖像識別
2.天氣預報
......

同類筆記可點擊這里查閱

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末灶体,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子汪厨,更是在濱河造成了極大的恐慌赃春,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,627評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劫乱,死亡現(xiàn)場離奇詭異织中,居然都是意外死亡,警方通過查閱死者的電腦和手機衷戈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3 399
  • 文/潘曉璐 我一進店門狭吼,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人殖妇,你說我怎么就攤上這事刁笙。” “怎么了谦趣?”我有些...
    開封第一講書人閱讀 169,346評論 0 362
  • 文/不壞的土叔 我叫張陵疲吸,是天一觀的道長。 經(jīng)常有香客問我前鹅,道長摘悴,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,097評論 1 300
  • 正文 為了忘掉前任舰绘,我火速辦了婚禮蹂喻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘捂寿。我一直安慰自己口四,他們只是感情好,可當我...
    茶點故事閱讀 69,100評論 6 398
  • 文/花漫 我一把揭開白布秦陋。 她就那樣靜靜地躺著蔓彩,像睡著了一般。 火紅的嫁衣襯著肌膚如雪驳概。 梳的紋絲不亂的頭發(fā)上粪小,一...
    開封第一講書人閱讀 52,696評論 1 312
  • 那天,我揣著相機與錄音抡句,去河邊找鬼。 笑死杠愧,一個胖子當著我的面吹牛待榔,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 41,165評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼锐锣,長吁一口氣:“原來是場噩夢啊……” “哼腌闯!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起雕憔,我...
    開封第一講書人閱讀 40,108評論 0 277
  • 序言:老撾萬榮一對情侶失蹤姿骏,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后斤彼,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體分瘦,經(jīng)...
    沈念sama閱讀 46,646評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,709評論 3 342
  • 正文 我和宋清朗相戀三年琉苇,在試婚紗的時候發(fā)現(xiàn)自己被綠了嘲玫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,861評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡并扇,死狀恐怖去团,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情穷蛹,我是刑警寧澤土陪,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站肴熏,受9級特大地震影響鬼雀,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜扮超,卻給世界環(huán)境...
    茶點故事閱讀 42,196評論 3 336
  • 文/蒙蒙 一取刃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧出刷,春花似錦璧疗、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至坷檩,卻和暖如春却音,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背矢炼。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1 274
  • 我被黑心中介騙來泰國打工系瓢, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人句灌。 一個月前我還...
    沈念sama閱讀 49,287評論 3 379
  • 正文 我出身青樓夷陋,卻偏偏與公主長得像欠拾,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子骗绕,可洞房花燭夜當晚...
    茶點故事閱讀 45,860評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 機器學習是做NLP和計算機視覺這類應用算法的基礎(chǔ)藐窄,雖然現(xiàn)在深度學習模型大行其道,但是懂一些傳統(tǒng)算法的原理和它們之間...
    在河之簡閱讀 20,515評論 4 65
  • 注:題中所指的『機器學習』不包括『深度學習』酬土。本篇文章以理論推導為主荆忍,不涉及代碼實現(xiàn)。 前些日子定下了未來三年左右...
    我偏笑_NSNirvana閱讀 40,013評論 12 145
  • 由老人帶大的孩子童年經(jīng)歷里最快樂的記憶以及安全感的來源往往指向老人撤缴,而非父母刹枉。 而老人難免會在孩子自我人格未完全形...
    踢車劉閱讀 170評論 0 0
  • 今天有則新聞說賈玲版花木蘭變成了肥胖且見了帥哥會流鼻血的吃貨,為此引發(fā)網(wǎng)絡(luò)熱議腹泌,而大篇幅將這個事件引導到名人故里之...
    王家園_町閱讀 167評論 2 1
  • 可能由于喜歡看古裝片的緣故吧嘶卧,第一遍聽李老師的《貴妃醉酒》的時候,就喜歡上了凉袱,這種喜歡是沒來由的芥吟,有人說他有點娘娘...
    OO碰到OO閱讀 253評論 0 0