支持向量機(jī)(Support Vector Machines,簡(jiǎn)稱(chēng)SVM)是一種二類(lèi)分類(lèi)模型台囱。它在一些情況下篮昧,對(duì)于一些復(fù)雜的非線性問(wèn)題能提供相比邏輯回歸模型或神經(jīng)網(wǎng)絡(luò)模型更為簡(jiǎn)潔的解決方案。
優(yōu)化目標(biāo)
我們通過(guò)不斷改進(jìn)邏輯回歸模型以實(shí)現(xiàn)支持向量機(jī)。
邏輯回歸模型的假設(shè)函數(shù)hθ(x)為:
其中:
- 當(dāng)y = 1時(shí)砚著,我們希望hθ(x) ≈ 1,即θTx >> 0痴昧;
- 當(dāng)y = 0時(shí)稽穆,我們希望hθ(x) ≈ 0,即θTx << 0赶撰;
其代價(jià)函數(shù)J(θ)為:
現(xiàn)假設(shè)在單個(gè)訓(xùn)練數(shù)據(jù)下舌镶,其代價(jià)函數(shù)J(θ)為:
將假設(shè)函數(shù)hθ(x)代入柱彻,則代價(jià)函數(shù)J(θ)為:
對(duì)于y = 1和y = 0這兩種情況,我們可分別繪制出如下函數(shù)圖:
在上圖基礎(chǔ)上餐胀,我們分別取z = 1和z = -1兩個(gè)點(diǎn)哟楷,繪制如下曲線:
其中,圖中紫紅色曲線為支持向量機(jī)在y = 1和y = 0時(shí)的代價(jià)函數(shù)與變量z之間的函數(shù)關(guān)系圖否灾。
現(xiàn)在我們以正則化的邏輯回歸為例得出支持向量機(jī)的代價(jià)函數(shù)卖擅。
正則化的邏輯回歸的代價(jià)函數(shù)J(θ)為:
根據(jù)函數(shù)圖我們可得支持向量機(jī)的代價(jià)函數(shù)J(θ)為:
其中,C為一常數(shù)墨技,類(lèi)似于正則化的邏輯回歸中的λ惩阶。
同時(shí),支持向量機(jī)的假設(shè)函數(shù)hθ(x)為:
初識(shí)最大間隔分類(lèi)器(支持向量機(jī))
支持向量機(jī)的假設(shè)函數(shù)hθ(x)為:
但支持向量機(jī)要求更高扣汪,其不僅僅要正確分開(kāi)輸入的樣本断楷,即不僅僅要求θTx ≥ 0(或θTx ≤ 0),更要求θTx ≥ 1(或θTx ≤ -1)崭别,即額外添加了一個(gè)安全因子(或安全間距)冬筒。
因此,對(duì)于y = 1和y = 0這兩個(gè)情況紊遵,可做如下改寫(xiě):
- 當(dāng)y = 1時(shí)账千,θTx ≥ 1
- 當(dāng)y = 0時(shí),θTx ≤ -1
基于此暗膜,我們可將代價(jià)函數(shù)J(θ)改寫(xiě)為:
其中匀奏,此時(shí)常數(shù)C為一個(gè)非常大的數(shù)。
此時(shí)学搜,對(duì)于下圖支持向量機(jī)會(huì)如何作出判定邊界娃善?
下圖中的黑色線條即為支持向量機(jī)所作出的判定邊界,它并不會(huì)以紫紅色或綠色線條作為判定邊界瑞佩。這是因?yàn)橹С窒蛄繖C(jī)會(huì)嘗試找到一個(gè)與樣本之間有著最大間隔的判定邊界聚磺,因此支持向量機(jī)也稱(chēng)為最大間隔分類(lèi)器。
最后炬丸,我們來(lái)討論一下常數(shù)C的取值瘫寝。
從上圖中,我們可以發(fā)現(xiàn)常數(shù)C的值若非常大稠炬,則會(huì)考慮數(shù)據(jù)集中的異常數(shù)據(jù)焕阿;而常數(shù)C的值若適中,則會(huì)忽略數(shù)據(jù)集中的異常數(shù)據(jù)首启,得到一個(gè)較為合適的判定邊界暮屡。
當(dāng)C = 1/λ 時(shí):
- 常數(shù)C 較大時(shí),類(lèi)似于λ 較小毅桃,可能會(huì)導(dǎo)致過(guò)擬合褒纲,即高方差
- 常數(shù)C 較小時(shí)准夷,類(lèi)似于λ 較大,可能會(huì)導(dǎo)致低擬合莺掠,即高偏差
最大間隔分類(lèi)器背后的數(shù)學(xué)知識(shí)
上圖中衫嵌,支持向量機(jī)的代價(jià)函數(shù)為:
假設(shè)θ0 = 0且n = 2,根據(jù)向量?jī)?nèi)積的相關(guān)數(shù)學(xué)知識(shí)彻秆,我們可推得:
以及推得θTx(i) = p(i)||θ||渐扮。
上圖中,綠線表示支持向量機(jī)作出的判定邊界掖棉,藍(lán)線表示與判定邊界正交的參數(shù)θ向量墓律。
根據(jù)之前向量?jī)?nèi)積的相關(guān)數(shù)學(xué)知識(shí),我們可以清楚了解到支持向量機(jī)如何作出與樣本之間保持最大間隔的判定邊界幔亥。
在本例中耻讽,我們?cè)O(shè)置了θ0 = 0,這保證了判定邊界過(guò)原點(diǎn)帕棉。
注:常數(shù)C為一個(gè)非常大的數(shù)针肥。