支持向量機(jī)SVM

概述（Support Vector Machines）

可以做有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)

分類問題，聚類問題 (SVC)岗屏，在輸入空間做一個(gè)映射默蚌，映射到一個(gè)更高維的空間去做分類冻晤。

$L_2$ 范數(shù)

歐幾里得距離

點(diǎn)到超平面 $g(x) = w\cdot x +b$ 的距離為 $M= \frac {|g(x)|}{||w||}$ ，則圓點(diǎn)到超平面距離為 $\frac{|b|}{||w||}$

評估分類好壞

是否無偏

margin绸吸，邊際鼻弧，能平移的距離，目標(biāo)是最大化margin锦茁。

如何描述出margin

+1 攘轩， -1代表兩類問題。則有 $g(x)>=1,g(x)<=-1兩類$ 码俩，則 $M=\frac {2}{||w||}$

前提條件是把每個(gè)樣本都分對

則有 $y_i(wx_i+b)-1\geq 0$

我們的目標(biāo)是最大化Margin

也就是 $max M = \frac {2}{||w||} \Rightarrow min \frac{1}{2} w^Tw$

完整的表述

在條件 $y_i(w\cdot x_i +b) \geq 1$ 下撑刺，最小化 $\Phi(x) = \frac12 w^Tw$

求解方法拉格朗日乘子法

有： $L_p = \frac12 ||w||^2 - \sum _{i=1}^l a_iy_i(w\cdot x_i +b) + \sum_{i=1}^l a_i$
對w和b求導(dǎo)后有：
$\frac {\partial L_p}{\partial w} = 0 \quad \Rightarrow \quad w= \sum_{i=1}^l a_iy_ix_i$
$\frac {\partial L_p}{\partial b} = 0 \quad \Rightarrow \quad \sum_{i=1}^l a_iy_i = 0$
將上式帶入到 $L_p$ 中，可以得到其對偶函數(shù)：
$L_D = \sum_i a_i - \frac12 \sum_{i,j}a_ia_jy_iy_jx_i \cdot x_j = \sum_i a_i - \frac12 \alpha^T H\alpha \quad where \quad H_{ij} = y_iy_jx_i \cdot x_j$
前提是： $\sum_i \alpha_i y_i =0 \quad \& \quad \alpha_i \geq 0$

少量不為0的 $\alpha$ 累加得到w

$g(x) = \sum_i^l \alpha_iy_ix_i \cdot x +b$ 握玛，向量做內(nèi)積够傍，是svm設(shè)計(jì)最精妙的地方

-求b 取 $x_s$ s表示上面求得的不為0的支持向量

$y_s (x_s \cdot w +b)=1$
$y_s (\sum _{m \in S} \alpha _my_mx_m \cdot x_s +b)=1$
可以求得b甫菠，不寫了，累死冕屯。

以上前提條件是將點(diǎn)分對

為解決分不對情況寂诱，加入soft margin概念

加入 $\xi$

$y_i(wx_i+b)-1 + \xi \geq 0$

處理線性不可分的問題

線性不可分，可以將數(shù)據(jù)映射到另外一個(gè)空間中
設(shè)計(jì)一個(gè)映射安聘，將數(shù)據(jù)映射到高維空間

$K(a,b) = (a \cdot b +1)^2 = \Phi(\alpha)\cdot \Phi(b)$ 這種高維空間的操作等價(jià)于低維空間的操作

這就是所謂的 Kernel Trick

我們有固定的幾種映射方法

Pllynomial : $K(x_i,x_j) = (x_i \cdot x_j +1)^d$
Gaussian: $K(x_i,x_j) = exp(- \frac {||x_i-x_j||^2}{2\sigma^2})$

最后編輯于：2019.11.14 15:40:44

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末痰洒，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子浴韭，更是在濱河造成了極大的恐慌丘喻，老刑警劉巖，帶你破解...
沈念sama閱讀 217,734評論 6贊 505
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件念颈，死亡現(xiàn)場離奇詭異泉粉，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)榴芳，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,931評論 3贊 394
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門嗡靡，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人窟感，你說我怎么就攤上這事讨彼。” “怎么了柿祈？”我有些...
開封第一講書人閱讀 164,133評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵哈误，是天一觀的道長。經(jīng)常有香客問我躏嚎，道長黑滴，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 58,532評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任紧索，我火速辦了婚禮，結(jié)果婚禮上菜谣，老公的妹妹穿的比我還像新娘珠漂。我一直安慰自己，他們只是感情好尾膊，可當(dāng)我...
茶點(diǎn)故事閱讀 67,585評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布媳危。她就那樣靜靜地躺著，像睡著了一般冈敛。火紅的嫁衣襯著肌膚如雪待笑。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,462評論 1贊 302
城市分裂傳說
那天抓谴，我揣著相機(jī)與錄音暮蹂，去河邊找鬼寞缝。笑死，一個(gè)胖子當(dāng)著我的面吹牛仰泻，可吹牛的內(nèi)容都是我干的荆陆。我是一名探鬼主播，決...
沈念sama閱讀 40,262評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼集侯，長吁一口氣：“原來是場噩夢啊……” “哼被啼！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起棠枉，我...
開封第一講書人閱讀 39,153評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤浓体，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后辈讶，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體命浴，經(jīng)...
沈念sama閱讀 45,587評論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,792評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年荞估，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了咳促。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 39,919評論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡勘伺，死狀恐怖跪腹，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情飞醉，我是刑警寧澤冲茸，帶...
沈念sama閱讀 35,635評論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站缅帘，受9級特大地震影響轴术，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜钦无，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,237評論 3贊 329
男人毒藥：我在死后第九天來索命
文/蒙蒙一逗栽、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧失暂，春花似錦彼宠、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,855評論 0贊 22
一樁弒父案凭峡，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至决记，卻和暖如春摧冀，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,983評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工索昂，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留建车，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,048評論 3贊 370
代替公主和親
正文我出身青樓楼镐，卻偏偏與公主長得像癞志，于是被迫代替她去往敵國和親。傳聞我的和親對象是個(gè)殘疾皇子框产，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,864評論 2贊 354

支持向量機(jī)SVM

概述（Support Vector Machines）

范數(shù)

評估分類好壞

為解決 分不對情況寂诱，加入soft margin概念

處理線性不可分的問題

推薦閱讀更多精彩內(nèi)容

$L_2$ 范數(shù)

為解決分不對情況寂诱，加入soft margin概念