SVM推導(dǎo)
參考鏈接回右。
問(wèn)題分析：給定一個(gè)標(biāo)注的數(shù)據(jù)集%2C%20i%3D1%2C2%2C3%2C4%E2%80%A6%E2%80%A6N)
斤蔓，其中
植酥，我們希望找到一個(gè)分類(lèi)器或者說(shuō)分類(lèi)平面)
使得以下的判別成立：
%20%5Cbegin%7Bcases%7D%5Cgeq%200%2Cy_%7Bi%7D%3D1%5C%5C%20%3C0%2Cy_%7Bi%7D%3D-1%5Cend%7Bcases%7D)
也就是對(duì)于正確分類(lèi)的話應(yīng)該有%3E0)
成立
線性可分與線性不可分
對(duì)于線性可分的情況，分類(lèi)平面以%3D%5Comega%5ETx%2Bb)
表示弦牡，其中
是權(quán)重向量友驮，
是偏差。在二維的坐標(biāo)里面喇伯，分類(lèi)平面就是一條直線喊儡。在三維空間就是一個(gè)分類(lèi)平面。訓(xùn)練集是為了學(xué)習(xí)到
最優(yōu)的
通過(guò)訓(xùn)練集可以更新來(lái)得到最終的決策平面稻据。有個(gè)問(wèn)題是艾猜，滿足劃分正確的決策平面有無(wú)數(shù)多個(gè)，怎么樣的才是最優(yōu)的捻悯？最好的決策平面應(yīng)該是距離兩種類(lèi)別的點(diǎn)都是最遠(yuǎn)的匆赃，也就是間隔要最大化，這樣在新的數(shù)據(jù)點(diǎn)進(jìn)入的時(shí)候今缚，才能有比較大的抗干擾能力算柳。
因?yàn)闆Q策平面%3D0)
和
是一回事，因此我們總是能夠調(diào)整調(diào)整權(quán)重值和偏差值姓言，使得最終支持向量所在的間隔為下圖的形式所示瞬项。
這個(gè)時(shí)候蔗蹋，我們求兩個(gè)邊界之間的間隔也就是：
和
之間的距離在方向上面的投影。
%3D%5Cfrac%7B%5Comega%5ET%7D%7B%5Cleft%5C%7C%20w%5Cright%5C%7C%7D(x_%7B%2B%7D-x_%7B-%7D)%3D%5Cfrac%7B2%7D%7B%5Cleft%5C%7C%20w%5Cright%5C%7C%7D)
囱淋，其中
是方向上面的單位向量猪杭，
因此我們要最大化的間隔，也就是我們的目標(biāo)函數(shù)是%5Cgeq1%2C%20i%3D1%2C2%2C3%E2%80%A6%E2%80%A6N)
也就是在滿足線性約束條件%5Cgeq1%2C%20i%3D1%2C2%2C3%E2%80%A6%E2%80%A6N)
的前提下妥衣，求Margin的最大值皂吮，等價(jià)于求%5Cgeq1%2C%20i%3D1%2C2%2C3%E2%80%A6%E2%80%A6N)
這是一個(gè)滿足線性限制條件的二次優(yōu)化問(wèn)題，有唯一的最小值税手。
軟間隔
在一些問(wèn)題上我們需要對(duì)誤差和間隔最大化做一些妥協(xié)和讓步蜂筹，比如上面兩幅圖當(dāng)中，為了把很靠近紅色正樣本的那個(gè)藍(lán)色點(diǎn)正確劃分芦倒，極大地扭曲了決策平面艺挪。因此我們需要調(diào)整決策平面使得它能夠容忍一定的誤差。
引入一個(gè)弛豫變量
在這里弛豫變量可以認(rèn)為是偏離正確分類(lèi)邊界的y方向的距離（也可以認(rèn)為是等式右邊的偏差）熙暴，比如以負(fù)樣本的劃分為例子闺属，恰好在劃分邊界上面的點(diǎn)
慌盯，而再往上去一點(diǎn)周霉，
，因?yàn)辄c(diǎn)還沒(méi)有到中間的分類(lèi)平面亚皂，中間的分類(lèi)平面到下面的負(fù)樣本的邊界函數(shù)距離為1俱箱，在法向量方向上的投影為
，當(dāng)負(fù)樣本的點(diǎn)在決策平面以上之后灭必，
狞谱，是錯(cuò)分點(diǎn)，其在法向量上面的投影
禁漓。
在優(yōu)化的目標(biāo)函數(shù)里面引入誤差項(xiàng)跟衅，變成了%5Cgeq1-%5Cxi_%7Bi%7D%2Ci%3D1%2C2%2C3%E2%80%A6%E2%80%A6)
，目標(biāo)函數(shù)變成了這個(gè)播歼。
C就是正則化項(xiàng)伶跷，其值越大對(duì)誤差的懲罰就越大。
相當(dāng)于降低了標(biāo)準(zhǔn)秘狞，可以允許在間隔內(nèi)叭莫。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
