支持向量機(jī)（Support Vector Machines，簡(jiǎn)稱(chēng)SVM）是一種二類(lèi)分類(lèi)模型台囱。它在一些情況下篮昧，對(duì)于一些復(fù)雜的非線性問(wèn)題能提供相比邏輯回歸模型或神經(jīng)網(wǎng)絡(luò)模型更為簡(jiǎn)潔的解決方案。
優(yōu)化目標(biāo)
我們通過(guò)不斷改進(jìn)邏輯回歸模型以實(shí)現(xiàn)支持向量機(jī)。
邏輯回歸模型的假設(shè)函數(shù)hθ(x)為：
其中：
- 當(dāng)y = 1時(shí)砚著，我們希望hθ(x) ≈ 1，即θTx >> 0痴昧；
- 當(dāng)y = 0時(shí)稽穆，我們希望hθ(x) ≈ 0，即θTx << 0赶撰；
其代價(jià)函數(shù)J(θ)為：
現(xiàn)假設(shè)在單個(gè)訓(xùn)練數(shù)據(jù)下舌镶，其代價(jià)函數(shù)J(θ)為：
將假設(shè)函數(shù)hθ(x)代入柱彻，則代價(jià)函數(shù)J(θ)為：
對(duì)于y = 1和y = 0這兩種情況，我們可分別繪制出如下函數(shù)圖：
在上圖基礎(chǔ)上餐胀，我們分別取z = 1和z = -1兩個(gè)點(diǎn)哟楷，繪制如下曲線：
其中，圖中紫紅色曲線為支持向量機(jī)在y = 1和y = 0時(shí)的代價(jià)函數(shù)與變量z之間的函數(shù)關(guān)系圖否灾。
現(xiàn)在我們以正則化的邏輯回歸為例得出支持向量機(jī)的代價(jià)函數(shù)卖擅。
正則化的邏輯回歸的代價(jià)函數(shù)J(θ)為：
根據(jù)函數(shù)圖我們可得支持向量機(jī)的代價(jià)函數(shù)J(θ)為：
其中，C為一常數(shù)墨技，類(lèi)似于正則化的邏輯回歸中的λ惩阶。
同時(shí)，支持向量機(jī)的假設(shè)函數(shù)hθ(x)為：
初識(shí)最大間隔分類(lèi)器（支持向量機(jī)）
支持向量機(jī)的假設(shè)函數(shù)hθ(x)為：
但支持向量機(jī)要求更高扣汪，其不僅僅要正確分開(kāi)輸入的樣本断楷，即不僅僅要求θTx ≥ 0（或θTx ≤ 0），更要求θTx ≥ 1（或θTx ≤ -1）崭别，即額外添加了一個(gè)安全因子（或安全間距）冬筒。
因此，對(duì)于y = 1和y = 0這兩個(gè)情況紊遵，可做如下改寫(xiě)：
- 當(dāng)y = 1時(shí)账千，θTx ≥ 1
- 當(dāng)y = 0時(shí)，θTx ≤ -1
基于此暗膜，我們可將代價(jià)函數(shù)J(θ)改寫(xiě)為：
其中匀奏，此時(shí)常數(shù)C為一個(gè)非常大的數(shù)。
此時(shí)学搜，對(duì)于下圖支持向量機(jī)會(huì)如何作出判定邊界娃善？
下圖中的黑色線條即為支持向量機(jī)所作出的判定邊界，它并不會(huì)以紫紅色或綠色線條作為判定邊界瑞佩。這是因?yàn)橹С窒蛄繖C(jī)會(huì)嘗試找到一個(gè)與樣本之間有著最大間隔的判定邊界聚磺，因此支持向量機(jī)也稱(chēng)為最大間隔分類(lèi)器。
最后炬丸，我們來(lái)討論一下常數(shù)C的取值瘫寝。
從上圖中，我們可以發(fā)現(xiàn)常數(shù)C的值若非常大稠炬，則會(huì)考慮數(shù)據(jù)集中的異常數(shù)據(jù)焕阿；而常數(shù)C的值若適中，則會(huì)忽略數(shù)據(jù)集中的異常數(shù)據(jù)首启，得到一個(gè)較為合適的判定邊界暮屡。
當(dāng)C = 1/λ 時(shí)：
- 常數(shù)C 較大時(shí)，類(lèi)似于λ 較小毅桃，可能會(huì)導(dǎo)致過(guò)擬合褒纲，即高方差
- 常數(shù)C 較小時(shí)准夷，類(lèi)似于λ 較大，可能會(huì)導(dǎo)致低擬合莺掠，即高偏差
最大間隔分類(lèi)器背后的數(shù)學(xué)知識(shí)
上圖中衫嵌，支持向量機(jī)的代價(jià)函數(shù)為：
假設(shè)θ0 = 0且n = 2，根據(jù)向量?jī)?nèi)積的相關(guān)數(shù)學(xué)知識(shí)彻秆，我們可推得：
以及推得θTx(i) = p(i)||θ||渐扮。
上圖中，綠線表示支持向量機(jī)作出的判定邊界掖棉，藍(lán)線表示與判定邊界正交的參數(shù)θ向量墓律。
根據(jù)之前向量?jī)?nèi)積的相關(guān)數(shù)學(xué)知識(shí)，我們可以清楚了解到支持向量機(jī)如何作出與樣本之間保持最大間隔的判定邊界幔亥。
在本例中耻讽，我們?cè)O(shè)置了θ0 = 0，這保證了判定邊界過(guò)原點(diǎn)帕棉。
注：常數(shù)C為一個(gè)非常大的數(shù)针肥。
