1.如何為一個(gè)訓(xùn)練集找到可以劃分不同類別樣本的劃分超平面
? ? ? ? 劃分超平面那可以通過(guò)一個(gè)線性方程來(lái)描述
? ? ? ? 使劃分超平面的劃分結(jié)果正確的訓(xùn)練樣例稱為 支持向量
? ? ? ? 兩個(gè)異類（超平面兩邊的）支持向量（訓(xùn)練樣例）到超平面的距離之和為 間隔
找到使訓(xùn)練樣本具有最大間隔的劃分超平面陶缺，也就是找到滿足條件的參數(shù)w b于毙，使間隔最大
2
訓(xùn)練完成后只需保留支持向量（被正確劃分的向量）
對(duì)偶問(wèn)題
3.如何處理非線性問(wèn)題
1）高維映射
為了簡(jiǎn)化高維映射后對(duì)偶問(wèn)題的求解仔沿，我們構(gòu)造一個(gè)核函數(shù)
2）
為劃分超平面限定一個(gè)模型
X是多個(gè)不同屬性的值構(gòu)成的向量
W是為每個(gè)屬性賦予的權(quán)重值所構(gòu)成的向量
b為位移項(xiàng)蔽莱，決定了超平面與原點(diǎn)之間的距離
所以這個(gè)超平面可擴(kuò)展為
在能將訓(xùn)練樣本分類正確的前提下找到對(duì)訓(xùn)練樣本局部擾動(dòng)容忍性(最魯棒)的超平面
我們需要運(yùn)算一個(gè)條件極值
當(dāng)這個(gè)超平面使各類訓(xùn)練樣本集到它的距離之和最大時(shí)腾仅，該超平面作為閾值最合適，但為了使樣本被正確分類我們還需要一個(gè)約束條件腾窝。
樣本空間中任意點(diǎn)到超平面的距離可由平面內(nèi)點(diǎn)到直線的距離公式推廣而來(lái)
分母為向量w的模
我們?nèi)藶橐?guī)定被劃分為正類的標(biāo)志值為1岂却，負(fù)類為-1
所以兩個(gè)異類支持向量到超平面的距離和
被劃分正確的訓(xùn)練樣本滿足
(一個(gè)訓(xùn)練集線性可分）
當(dāng)我們令
該目標(biāo)超平面滿足條件
為了方便計(jì)算，等價(jià)于
（svm的基本型）
求解這個(gè)基本型可得到滿足條件的參數(shù)w和b捆昏，即正確且唯一的模型
二次規(guī)劃：目標(biāo)函數(shù)二次項(xiàng)赚楚，限制條件一次項(xiàng)
而svm的基本型很明顯就是一個(gè)二次規(guī)劃問(wèn)題，我們采用拉格朗日乘子法求解
因此我們可以得到關(guān)系式
把關(guān)系式代入原拉格朗日函數(shù)
因此求解原問(wèn)題就變成了求解對(duì)偶問(wèn)題
由于原問(wèn)題有不等式約束骗卜，所以其對(duì)偶問(wèn)題需要增加KKT條件
顯然，這個(gè)條件的解為
通用的二次規(guī)劃算法不夠高效左胞，在這里我們
采用SMO：先固定兩個(gè)乘子之外的所有參數(shù)寇仓，然后求這兩個(gè)乘子上的極值.為什么是兩個(gè)而不是一個(gè)，因?yàn)槲覀冎坝?jì)算出 當(dāng)原函數(shù)值最大時(shí)所有乘子和其對(duì)應(yīng)標(biāo)志值的乘積之和為0烤宙，所以如果每次選擇一個(gè)作為變量遍烦，則這個(gè)乘子可由其他已經(jīng)被固定的乘子導(dǎo)出。
如何選取這兩個(gè)參數(shù)
直觀來(lái)看躺枕，KKT 條件違背的程度越大服猪，則 變量更新后可能導(dǎo)致的目標(biāo)函數(shù)值減幅越大.也就是逼近解的速度越快，
用約束條件
消去其中一個(gè)變量拐云，得到一個(gè)關(guān)于ai的單變量二次規(guī)劃問(wèn)題，求解得到ai aj
處理非線性問(wèn)題
如果樣本空間非線性可分，則svm基本型的限制條件不成立
將樣本高維映射可使樣本在這個(gè)特征空間內(nèi)線性可分(降維打擊）
例如：
映射后的模型可表示為
例如：
而我們要找的超平面則也從二維變成五維
針對(duì)處理非線性問(wèn)題改造svm基本型
同理可得其對(duì)偶問(wèn)題
為了簡(jiǎn)化運(yùn)算湖蜕，我們用核函數(shù)替換
核函數(shù):用一個(gè)函數(shù)通過(guò)低維的向量值直接計(jì)算出高維向量的內(nèi)積 而不需要知道高維向量的具體形態(tài)
核函數(shù)使高維映射又變回低維運(yùn)算
怎么確定核函數(shù)?
核函數(shù)成立的充要條件：
1.可替換
2.半正定
常用的核函數(shù)
由于在現(xiàn)實(shí)任務(wù) 中 往往很難確定合適的核函數(shù)使得訓(xùn) 練樣本在特征空 間 中線性可分;退一步說(shuō)提完，
即使恰好找到了 某個(gè)核函數(shù)使訓(xùn) 練集在特征空 間中 線性可分?也很難斷 定這個(gè) 貌似線性可分的 結(jié)果不是由于過(guò)擬合所造成的
所以我們?cè)试S支持向量機(jī)在一些樣本上出錯(cuò).
這種不要求所有樣本被正確分類的向量機(jī)形式被稱為軟間隔，即不滿足約束
因此我們?cè)瓉?lái)構(gòu)造的拉格朗日函數(shù)就不適用薇缅，但為了使優(yōu)化目標(biāo)變?yōu)?在最大化間隔的同時(shí)危彩，不滿足約束的樣本也要盡可能少，我們將原來(lái)的條件函數(shù)映射成一個(gè)損失函數(shù)泳桦，使其大小與不被正確分類的標(biāo)志數(shù)量成正比
因此優(yōu)化目標(biāo)可寫(xiě)為
顯然汤徽，求解該函數(shù)需要綜合考慮間隔大，出錯(cuò)少兩個(gè)條件灸撰，分別稱為結(jié)構(gòu)風(fēng)險(xiǎn)(間隔）和經(jīng)驗(yàn)風(fēng)險(xiǎn)（誤差）
為了易求解谒府，我們通常采用數(shù)學(xué)性質(zhì)更好的函數(shù)替代拼坎，稱為"替代損失"
被劃分錯(cuò)誤的樣本距離超平面越遠(yuǎn) 損失函數(shù)的自變量z越小，1-z越大
這個(gè)約束條件由損失函數(shù)的定義推導(dǎo)而來(lái)
這同樣是一個(gè)二次規(guī)劃問(wèn)題狱掂，同理可得到它的對(duì)偶問(wèn)題及KKT條件
由KKT條件用同樣的方法可推出軟間隔支持向量機(jī)的 最終模型僅與支持向量有關(guān)演痒。
同樣用smo求解得到超平面
優(yōu)化目標(biāo)由間隔大小和誤差程度構(gòu)成，可寫(xiě)為更一般的形式
稱為正則化問(wèn)題
支持向量回歸
假設(shè)我們能容忍 f(x) 與 y之間最多有 一定 的偏差趋惨，即僅當(dāng) f(x) 與 y 之間的差別絕對(duì)值大于 E 時(shí)才計(jì)算損 失
用不敏感損失函數(shù)衡量損失程度鸟顺，SVR 問(wèn)題可形式化為
引入松弛變量
同樣用拉格朗日乘子法得到對(duì)偶問(wèn)題和其KKT條件
由求偏導(dǎo)得到的關(guān)系式可將超平面擴(kuò)展為
考慮上面提到的非線性可分情況下的特征映射形式，則表示為
I
）
核方法
