《機(jī)器學(xué)習(xí)(周志華)》學(xué)習(xí)筆記(六)

Q:支持向量機(jī)是什么鬼轰胁?

支持向量機(jī)不是一臺(tái)“機(jī)”,而是一個(gè)算法如绸。一般來(lái)說(shuō)認(rèn)為這是一個(gè)分類(lèi)算法嘱朽,而且分類(lèi)效果極佳。


尋找最優(yōu)的分割線(xiàn)

以基本的二分類(lèi)任務(wù)為例怔接。給定一堆訓(xùn)練數(shù)據(jù),假設(shè)每個(gè)樣本只有兩個(gè)屬性稀轨。我們?cè)噲D在坐標(biāo)系中找出一條線(xiàn)扼脐,把不同類(lèi)的樣本分開(kāi)來(lái)。從圖中可以看出,有多條直線(xiàn)可以把兩類(lèi)樣本分開(kāi)瓦侮。但是從直覺(jué)上就可以察覺(jué)艰赞,在兩類(lèi)點(diǎn)中間的那條線(xiàn)(加粗那條),是最合適的肚吏。因?yàn)檫@條線(xiàn)離兩類(lèi)樣本的距離都適中方妖,因此最能適應(yīng)新樣本,也就是說(shuō)泛化能力最強(qiáng)罚攀。

圖中有很多樣本党觅,但真正決定這條線(xiàn)的位置和方向的,只有兩個(gè)點(diǎn)斋泄,那就是每個(gè)類(lèi)的點(diǎn)中離直線(xiàn)最近的點(diǎn)杯瞻。因?yàn)樗鼈兇砹烁髯运诘念?lèi)的邊界,只有它們的變化會(huì)引起線(xiàn)的位置變化炫掐,所以說(shuō)這兩個(gè)點(diǎn)支持著這條線(xiàn)魁莉。這些樣本在坐標(biāo)系中表現(xiàn)為點(diǎn),用代數(shù)表示就是向量(每個(gè)分量是對(duì)應(yīng)的屬性值)募胃。這就是“支持向量機(jī)”算法名稱(chēng)的又來(lái)旗唁。

Q:怎樣找出支持向量機(jī)用來(lái)分類(lèi)的那根線(xiàn)?

支持向量機(jī)在樣本屬性只有兩個(gè)的時(shí)候的任務(wù)是找一條線(xiàn)痹束,在屬性有三個(gè)的時(shí)候就是找一個(gè)平面逆皮。在樣本屬性有三個(gè)以上的時(shí)候找的是“超平面”散罕。線(xiàn)臼氨、平面,都是超平面的特例恭理,所以他們都可以用一個(gè)方程來(lái)表示:

超平面表達(dá)式

這個(gè)方程就是我們要找的超平面的代數(shù)表示抹蚀。其參數(shù)w和b就是我們要確定的參數(shù)剿牺,也就是我們要學(xué)習(xí)的目標(biāo)。這個(gè)超平面也可以認(rèn)為是使得分類(lèi)函數(shù)f(x)=0的點(diǎn)集:

支持向量機(jī)的分類(lèi)方式略有別于logistic回歸——logistic回歸是把樣本值代入分類(lèi)函數(shù)后得出一個(gè)0到1之間的數(shù)环壤,根據(jù)這個(gè)數(shù)是否大于某個(gè)閥值(如0.5)來(lái)進(jìn)行分類(lèi)晒来。

支持向量機(jī)則是把樣本值代入分類(lèi)函數(shù)后得出一個(gè)實(shí)數(shù),根據(jù)這個(gè)數(shù)是否大于0來(lái)分類(lèi)郑现。而且在用訓(xùn)練數(shù)據(jù)訓(xùn)練過(guò)程中湃崩,會(huì)設(shè)置約束條件,讓所有樣本數(shù)據(jù)的計(jì)算值在 “>1” 和 “<-1” 之間接箫。也就是在兩個(gè)類(lèi)別之間留出一道間隙攒读。

由空間幾何理論可以知道,空間中一個(gè)點(diǎn)到超平面的距離是

點(diǎn)到平面距離公式

因?yàn)榘褬颖局荡敕诸?lèi)函數(shù)后得出的計(jì)算值在 “>1” 和 “<-1” 之間辛友,所以超平面能正確分類(lèi)的前提(即約束條件)之一是

優(yōu)化的約束條件

那么離超平面最近的兩個(gè)樣本薄扁,代入分類(lèi)函數(shù)后的計(jì)算值必然分別是1和-1剪返。所以?xún)蓚€(gè)類(lèi)之間的間隙就是這兩個(gè)點(diǎn)到超平面的舉例的和,也就是

優(yōu)化的目標(biāo)函數(shù)

要是的支持向量機(jī)效果最好邓梅,也就是說(shuō)最能適應(yīng)新樣本脱盲,那就意味著是的兩類(lèi)訓(xùn)練樣本之間的間隙最大化,所以我們的訓(xùn)練的具體目標(biāo)就是——

求得參數(shù)w和b使得兩類(lèi)樣本間的間隙最大日缨,同時(shí)還要讓各個(gè)樣本代入分類(lèi)函數(shù)后的計(jì)算值大于1(或小于-1)钱反。

SVM的訓(xùn)練任務(wù)

這個(gè)最值問(wèn)題的求解過(guò)程相當(dāng)燒腦,用到對(duì)偶問(wèn)題思想匣距、拉格朗日乘子法面哥、KKT條件、SMO算法等墨礁,略過(guò)幢竹。

當(dāng)我們把訓(xùn)練數(shù)據(jù)一個(gè)個(gè)輸入支持向量機(jī),逐漸調(diào)整參數(shù)w和b恩静,最后得到了分類(lèi)函數(shù)焕毫。這就是支持向量機(jī)的基本形式。

Q:如果得到的訓(xùn)練數(shù)據(jù)在各個(gè)類(lèi)別的邊界處彼此混淆驶乾,不能用一個(gè)超平面劃分邑飒,怎么辦?

現(xiàn)實(shí)中確實(shí)存在線(xiàn)性不可分的數(shù)據(jù)集

線(xiàn)性不可分?jǐn)?shù)據(jù)集

但我們可以將樣本向量映射到一個(gè)高維空間级乐,在更高維度的空間中我們就能找到一個(gè)劃分各類(lèi)的超平面了疙咸。這中數(shù)據(jù)升維的手段被稱(chēng)為核方法,其映射函數(shù)被稱(chēng)為核函數(shù)风科。

數(shù)據(jù)升維

當(dāng)樣本向量x映射后撒轮,超平面的方程也就變成了

升為后的超平面表達(dá)式

而訓(xùn)練的具體目標(biāo)則變成了

升維后的SVM訓(xùn)練任務(wù)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市贼穆,隨后出現(xiàn)的幾起案子题山,更是在濱河造成了極大的恐慌,老刑警劉巖故痊,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件顶瞳,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡愕秫,警方通過(guò)查閱死者的電腦和手機(jī)慨菱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)戴甩,“玉大人符喝,你說(shuō)我怎么就攤上這事〉瓤郑” “怎么了洲劣?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵备蚓,是天一觀的道長(zhǎng)课蔬。 經(jīng)常有香客問(wèn)我囱稽,道長(zhǎng),這世上最難降的妖魔是什么二跋? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任战惊,我火速辦了婚禮,結(jié)果婚禮上扎即,老公的妹妹穿的比我還像新娘吞获。我一直安慰自己,他們只是感情好谚鄙,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布各拷。 她就那樣靜靜地躺著,像睡著了一般闷营。 火紅的嫁衣襯著肌膚如雪烤黍。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,682評(píng)論 1 312
  • 那天傻盟,我揣著相機(jī)與錄音速蕊,去河邊找鬼。 笑死娘赴,一個(gè)胖子當(dāng)著我的面吹牛规哲,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播诽表,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼唉锌,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了竿奏?” 一聲冷哼從身側(cè)響起袄简,我...
    開(kāi)封第一講書(shū)人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎议双,沒(méi)想到半個(gè)月后痘番,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡平痰,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年汞舱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宗雇。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡昂芜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出赔蒲,到底是詐尸還是另有隱情泌神,我是刑警寧澤良漱,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站欢际,受9級(jí)特大地震影響母市,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜损趋,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一患久、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧浑槽,春花似錦蒋失、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至镊靴,卻和暖如春铣卡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背邑闲。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工算行, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人苫耸。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓州邢,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親褪子。 傳聞我的和親對(duì)象是個(gè)殘疾皇子量淌,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容