SVM推導(dǎo)步驟

SVM(Support Vector Machine概荷,支持向量機(jī))是最經(jīng)典的分類算法食茎,本文主要整理(為了應(yīng)付考試)SVM的推導(dǎo)方式融涣,不包含SMO算法求解最后的約束。

借鑒博客:
https://cuijiahua.com/blog/2017/11/ml_8_svm_1.html

https://www.cnblogs.com/90zeng/p/Lagrange_duality.html

一般的崩瓤,SVM就是一個(gè)分類器,只是相對于傳統(tǒng)的線性分類器踩官,它添加了一個(gè)支持向量的概念却桶。這樣相對于傳統(tǒng)分類器可能存在的多個(gè)解,SVM由于約束的存在一般只有單解蔗牡,并且表現(xiàn)更好颖系。

從圖片上解釋,對于一組數(shù)據(jù)辩越,傳統(tǒng)的線性分類器使用一條直線將數(shù)據(jù)分類嘁扼,而SVM在使用直線的同時(shí)要求數(shù)據(jù)點(diǎn)距離這條直線的最小距離最大,也就是說分類器和數(shù)據(jù)之間要有足夠大的“間隔”黔攒。這樣做的好處是很明顯的趁啸,越大的“間隔”代表了更大的轉(zhuǎn)圜空間,在得到新的數(shù)據(jù)之后更容易將其正確分類亏钩。

而SVM的工作就是求解這個(gè)最大間隔莲绰,也就是最優(yōu)化問題。對于線性可分的數(shù)據(jù)姑丑,可以直接套用線性規(guī)劃的知識(shí)進(jìn)行推導(dǎo)蛤签,但如果數(shù)據(jù)線性不可分,就需要核函數(shù)進(jìn)行數(shù)據(jù)升維栅哀,進(jìn)行超平面分類震肮。

二分類問題的數(shù)據(jù)點(diǎn)


傳統(tǒng)的線性分類器


SVM的分類方式,要求“間隔”最大

下面是具體的建模推導(dǎo)過程:

一·決策面方程

我們現(xiàn)在二維場景下考慮分類方程留拾,所以決策面也就是決策線戳晌。

考慮在二維場景下,我們描述一條直線的方法是:

y=ax+b

簡單替換痴柔,將y替換為x_2沦偎,將x替換為x_1,簡單獲得以下公式:

x_2=ax_1+b

=>ax_1-x_2+b=0

將上述公式轉(zhuǎn)換為向量形式:

[a,-1][\begin{array}{c}          x_1 \\                 x_2\end{array}] +b=0

也就是\omega ^Tx+\gamma =0, 其中,\omega=[a,-1]^T,x=[x_1,x_2]^T

這個(gè)式子的幾何意義是原式子的法向量豪嚎。而如果我們將上述式子推廣到高維空間搔驼,就是我們需要的決策面方程。也就是:

\omega ^Tx+\gamma =0, 其中侈询,\omega=[\omega_1, \dots, \omega_n]^T,x=[x_1,\dots,x_n]^T

二·分類間隔方程

在獲取決策面方程之后舌涨,我們需要獲知決策面方程中的\omega\gamma的具體值,而求解這個(gè)值的核心就是靠分類間隔方程所施加的約束條件扔字。

首先我們需要副系以下間隔的含義囊嘉,在SVM中,“間隔”指的是分類器距離樣本點(diǎn)的最小距離革为,我們需要找一個(gè)使這個(gè)最小距離最大的分類器作為我們的最優(yōu)解扭粱。因此我們的約束條件是很好想到的,高中學(xué)過的距離公式:

\begin{equation}  \left\{  \begin{array}{**lr**}  d=\frac{Ax_0+By_0+C}{\sqrt{A^2+B^2} } , &  \\點(diǎn)(x_0,y_0),直線Ax+By+C=0\end{array}  \right.  \end{equation}

而在超平面上篷角,只需要簡單的推廣以上公式焊刹,結(jié)合我們之前獲得的決策面方程,

\omega ^Tx+\gamma =0, 其中恳蹲,\omega=[\omega_1, \dots, \omega_n]^T,x=[x_1,\dots,x_n]^T

我們不難得到虐块,在我們所得到的直線(超平面上),某個(gè)樣本與其的距離是:

d=\frac{|\omega^Tx+\gamma|}{||\omega||}?

分母是指\omega的二范數(shù)嘉蕾,也就是平方和求導(dǎo)贺奠。這樣我們的問題就轉(zhuǎn)化為,求最大的W错忱,其中W=2d儡率,也就是求\max \limits_{}d

三·約束條件

獲取了上述分類間隔方程以清,但是這個(gè)方程只是來評判我們的分類器是否是好的儿普,我們并不能確定

(1)分類器是否能正確分類

(2)如何選擇正確的支持向量點(diǎn)

這兩個(gè)問題是限制我們隨意計(jì)算d的限制條件,在SVM中掷倔,以下列方式處理這些限制條件眉孩。

首先仍然只考慮線性可分的二分類情況,在這種情況下只有兩類數(shù)據(jù)勒葱,我們對這兩類數(shù)據(jù)分別賦值為1和-1浪汪,也就是:

y=\begin{equation}  \left\{  \begin{array}{**lr**}  1 , 數(shù)據(jù)屬于第一類&  \\-1.數(shù)據(jù)屬于第二類\end{array}  \right.  \end{equation}

分類還是很直觀的,事實(shí)上我們在有監(jiān)督學(xué)習(xí)里面基本也這么賦值凛虽。這樣賦值之后死遭,假設(shè)我們所得到的分類器可以正確分類兩類數(shù)據(jù),那么我們的分類器可以得出什么結(jié)果凯旋?不難得到以下形式:

如果我們嚴(yán)格一點(diǎn)(或者說運(yùn)氣很好)呀潭,我們得到的分類器是SVM的最優(yōu)解钉迷,那么根據(jù)上面的距離公式,我們可以簡化得到:

其中:

\omega_d^T=\frac{\omega}{||\omega||d}? ??\gamma_d=\frac{\gamma}{||\omega||d}

分母都是標(biāo)量蜗侈,所以除以d并不影響原式子的幾何含義篷牌,也就是法向量。那么我們事實(shí)上拿掉這個(gè)d

也不會(huì)影響最后的結(jié)果踏幻。最后對以上式子進(jìn)行整理,即可獲得一個(gè)不等式:

y_i(\omega^Tx+\gamma)\ge 1, \forall x_i

這里的\omega與上文中的\omega在數(shù)值上不同戳杀,但是在幾何意義上是一樣的该面。

四·優(yōu)化問題描述

在三中,我們考慮了如果我們的分類器可以正確分類信卡,我們的公式要如何進(jìn)行約束隔缀,那么現(xiàn)在我們需要解決第二個(gè)問題了,如果選取支持向量點(diǎn)傍菇?

這個(gè)問題比較好考慮猾瘸,支持向量點(diǎn)有一個(gè)特征,那就是對于一個(gè)支持向量點(diǎn)x_i,必然有

|\omega^Tx_i+\gamma| = 1

那么在我們預(yù)先定義好的距離公式d=\frac{|\omega^Tx+\gamma|}{||\omega||}中丢习,我們發(fā)現(xiàn)帶入上式子的結(jié)果牵触,有

d=\frac{1}{||\omega||}

那么我們對d的最大值約束就變化為對\omega的最小值約束,也就是求解min\frac{1}{2}||\omega||^2,其中y_i(\omega^Tx_i+b)\ge 1,i=1,2,\dots,n

五·求解準(zhǔn)備

在得到上述式子之后咐低,我們發(fā)現(xiàn)這是一個(gè)帶有不等式約束的規(guī)劃問題揽思,為了解決這種問題,我們一般采用構(gòu)造拉格朗日函數(shù)的方法见擦,使用對偶性解決問題钉汗。

5.1·拉格朗日函數(shù)

首先,我們先要從宏觀的視野上了解一下拉格朗日對偶問題出現(xiàn)的原因和背景鲤屡。

我們知道我們要求解的是最小化問題损痰,所以一個(gè)直觀的想法是如果我能夠構(gòu)造一個(gè)函數(shù),使得該函數(shù)在可行解區(qū)域內(nèi)與原目標(biāo)函數(shù)完全一致酒来,而在可行解區(qū)域外的數(shù)值非常大卢未,甚至是無窮大,那么這個(gè)沒有約束條件的新目標(biāo)函數(shù)的優(yōu)化問題就與原來有約束條件的原始目標(biāo)函數(shù)的優(yōu)化問題是等價(jià)的問題役首。

這就是使用拉格朗日方程的目的尝丐,它將約束條件放到目標(biāo)函數(shù)中,從而將有約束優(yōu)化問題轉(zhuǎn)換為無約束優(yōu)化問題衡奥。

隨后爹袁,人們又發(fā)現(xiàn),使用拉格朗日獲得的函數(shù)矮固,使用求導(dǎo)的方法求解依然困難失息。進(jìn)而譬淳,需要對問題再進(jìn)行一次轉(zhuǎn)換,即使用一個(gè)數(shù)學(xué)技巧:拉格朗日對偶盹兢。

所以邻梆,顯而易見的是,我們在拉格朗日優(yōu)化我們的問題這個(gè)道路上绎秒,需要進(jìn)行下面二個(gè)步驟:

將有約束的原始目標(biāo)函數(shù)轉(zhuǎn)換為無約束的新構(gòu)造的拉格朗日目標(biāo)函數(shù)

使用拉格朗日對偶性浦妄,將不易求解的優(yōu)化問題轉(zhuǎn)化為易求解的優(yōu)化

下面,進(jìn)行第一步:將有約束的原始目標(biāo)函數(shù)轉(zhuǎn)換為無約束的新構(gòu)造的拉格朗日目標(biāo)函數(shù)

先寫下原始式子:

min\frac{1}{2}||\omega||^2,其中y_i(\omega^Tx_i+b)\ge 1,i=1,2,\dots,n

我們首先將其變形见芹,將其變?yōu)槿缦赂袷剑?/p>

L(\omega,b,\alpha)=\frac{1}{2}||\omega||^2-\sum_{i=1}^n \alpha_i[y_i(\omega^Tx_i+b)-1]

其中\alpha_i \ge 0被稱為拉格朗日乘子剂娄,當(dāng)然雖然名字很嚇唬人,事實(shí)上它是我們隨意引入的一個(gè)參數(shù)玄呛。這個(gè)參數(shù)是用來構(gòu)造等價(jià)問題的阅懦。

我們令\theta(\omega,b)=\max \limits_ {\alpha_i \ge 0}\ L(\omega,b,\alpha)

也就是當(dāng)前這個(gè)方程和\alpha_i無關(guān)徘铝,當(dāng)某個(gè)點(diǎn)x_i不在可行解區(qū)域中耳胎,也就是y_i(\omega^Tx_i+b) < 1,我們將\alpha_i設(shè)置為無窮大,顯然此時(shí)\theta(\omega,b)也是無窮大的惕它。而當(dāng)該點(diǎn)在可行域區(qū)域內(nèi)怕午,y_i(\omega^Tx_i+b) \ge 1,那么\max \limits_ {\alpha_i \ge 0}\ L(\omega,b,\alpha)的結(jié)果顯然是\frac{1}{2}||\omega||^2(因?yàn)楹蟀氩糠直厝淮笥诘扔?怠缸,那么為了保證最大诗轻,當(dāng)然是等于0)。這樣揭北,\theta(\omega,b)就可以轉(zhuǎn)化為:

\theta(\omega,b)=\begin{equation}  \left\{  \begin{array}{**lr**}  \frac{1}{2}||\omega||^2, x_i在可行域\\+\infty扳炬,x_i不在可行域\end{array}  \right.  \end{equation}

顯然在可行域內(nèi),\theta是一個(gè)凸函數(shù)搔体,是必然有極小值的恨樟,因此問題被轉(zhuǎn)化為求此函數(shù)的最小值,也就是:

\min \limits_{\omega,b}\theta(\omega,b)=\min \limits_{\omega,b}\max\limits_{\alpha_i\ge0}L(\omega,b,\alpha)=p^*

這個(gè)式子事實(shí)上也不好求疚俱,因?yàn)閮?nèi)層的max仍然帶有不等式的限制條件劝术,因此我們要使用拉格朗日對偶方法將其轉(zhuǎn)化為易求的對偶形式。

5.2 拉格朗日對偶及其證明

拉格朗日對偶的定義如下:

以我們剛剛獲得的式子\min \limits_{\omega,b}\theta(\omega,b)=\min \limits_{\omega,b}\max\limits_{\alpha_i\ge0}L(\omega,b,\alpha)=p^*為例呆奕,我們先針對\alpha作為未知數(shù)構(gòu)造一個(gè)函數(shù):

\theta(\alpha)=\min \limits_{\omega,b}L(\omega,b,\alpha)

考慮其極大化养晋,也就是\max\limits_{\alpha;\alpha_i\ge0}\theta(\alpha)=\max\limits_{\alpha;\alpha_i\ge0}\min \limits_{\omega,b}L(\omega,b,\alpha)

這個(gè)問題就是原始問題的對偶問題了。假設(shè)我們使\max\limits_{\alpha;\alpha_i\ge0}\theta(\alpha)=\max\limits_{\alpha;\alpha_i\ge0}\min \limits_{\omega,b}L(\omega,b,\alpha)=d^*

則可以證明d^*\le p^*

證明方式:對于任意的\alpha,\omega和b梁钾,有\theta_d(\alpha)=\min\limits_{\omega,b}L(\omega,b,\alpha)\le L(\omega,b,\alpha)\le \max\limits_{\alpha\ge 0}L(\omega,b,\alpha)\le \theta_p(\omega,b)

不難推論绳泉,當(dāng)d^*=p^*時(shí),此時(shí)\omega^*,b^*,\alpha^*均為最優(yōu)解姆泻。

那么如何使得上述相等情況成立呢零酪?這就需要滿足KKT條件冒嫡。

5.3·KKT條件

KKT條件的全稱是Karush-Kuhn-Tucker條件,KKT條件是說最優(yōu)值條件必須滿足以下條件:

條件一:經(jīng)過拉格朗日函數(shù)處理之后的新目標(biāo)函數(shù)L(w,b,α)對x求導(dǎo)為零:

條件二:h(x) = 0四苇;

條件三:α*g(x) = 0孝凌;

我們的式子已經(jīng)滿足此條件,具體的嘛……反正我也不懂月腋,先記下來以后補(bǔ)= =

六·最終結(jié)果

已知\max\limits_{\alpha;\alpha_i\ge0}\theta(\alpha)=\max\limits_{\alpha;\alpha_i\ge0}\min \limits_{\omega,b}L(\omega,b,\alpha)=d^*

L(\omega,b,\alpha)=\frac{1}{2}||\omega||^2-\sum_{i=1}^n \alpha_i[y_i(\omega^Tx_i+b)-1]

首先固定\alpha,針對內(nèi)層最小化求導(dǎo)蟀架,可以得到:

\frac{\alpha L}{\alpha \omega}=0 \Rightarrow  \omega=\sum_{i=1}^n \alpha_iy_ix_i

\frac{\alpha L}{\alpha b}=0 \Rightarrow \sum_{i=1}^n \alpha_iy_i=0

帶入原式:

\begin{equation}\begin{aligned}L(\omega,b,\alpha)&=\frac{1}{2}||\omega||^2-\sum_{i=1}^n \alpha_i[y_i(\omega^Tx_i+b-1) ] \\&=\frac{1}{2}\omega^T\omega-\omega^T\sum_{i=1}^n\alpha_iy_ix_i-b\sum_{i=1}^n\alpha_iy_i+ \sum_{i=1}^n\alpha_i \\&=\frac{1}{2}\omega^T\sum_{i=1}^n\alpha_iy_ix_i-\omega^T\sum_{i=1}^n\alpha_ix_iy_i-b*0+\sum_{i=1}^n\alpha_i\\&=\sum_{i=1}^n\alpha_i-\frac{1}{2}(\sum_{i=1}^n\alpha_iy_ix_i)^T\sum_{i=1}^n\alpha_iy_ix_i\\&=\sum_{i=1}^n\alpha_i-\frac{1}{2}\sum_{i,j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j\end{aligned}\end{equation}

此時(shí)只有一個(gè)參數(shù),\alpha_i

然后我們計(jì)算外層的最大化罗售,

\max\limits_{\alpha}\sum_{i=1}^n\alpha_i-\frac{1}{2}\sum_{i,j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j\\s.t.\ \alpha_i \ge0, \ \ i =1,2,\dots,n\\\sum_{i=1}^n\alpha_iy_i=0

現(xiàn)在我們的優(yōu)化問題變成了如上的形式辜窑。對于這個(gè)問題,我們有更高效的優(yōu)化算法寨躁,即序列最小優(yōu)化(SMO)算法。我們通過這個(gè)優(yōu)化算法能得到α牙勘,再根據(jù)α职恳,我們就可以求解出w和b,進(jìn)而求得我們最初的目的:找到超平面方面,即"決策平面"放钦。

七·非線性與核函數(shù)

前面六個(gè)部分都是建立在數(shù)據(jù)線性可分的情況之下,而當(dāng)數(shù)據(jù)不可分時(shí)恭金,我們需要使用一些方法將其升維操禀,使其在高維空間成為可分的。

總體而言横腿,經(jīng)過SMO計(jì)算出\alpha之后颓屑,可以得到最后的方程:

f(x) = \sum_{i=1}^n\alpha_iy_ix_i^Tx + b

使用內(nèi)積表示它:

f(x) = \sum_{i=1}^n\alpha_iy_i<x_i,x> + b

如果數(shù)據(jù)是不可分的,我們使用一個(gè)非線性映射(不管這個(gè)映射是什么樣的耿焊,事實(shí)上往往不知道這是什么映射揪惦,映射獲得的結(jié)果也可能無法計(jì)算)將數(shù)據(jù)映射到高維空間,使其在高維空間可分罗侯,則上式可以改寫為:

f(x) = \sum_{i=1}^n\alpha_iy_i<\phi (x_i),\phi(x)> + b

其中\phi(x)是一個(gè)映射器腋,它表示輸入空間到特征空間的映射。

這種映射結(jié)果钩杰,牽扯到高維空間的內(nèi)積運(yùn)算纫塌,而高維空間維度越高我們需要的計(jì)算量就越大,有時(shí)候甚至是無限維的讲弄,導(dǎo)致不能直接計(jì)算措左。因此我們定義了一個(gè)核函數(shù)(kernel function),其本質(zhì)是在輸入空間的一個(gè)函數(shù)\kappa 垂睬,我們?nèi)绻梢允沟?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Ckappa(x_i%2C%20x)%3D%3C%5Cphi(x_i)%2C%5Cphi(x)%3E" alt="\kappa(x_i, x)=<\phi(x_i),\phi(x)>" mathimg="1">媳荒,那么計(jì)算就可以局限在輸入空間的低緯度抗悍,減少計(jì)算資源的消耗。

所以直接就給出一個(gè)定義:核是一個(gè)函數(shù)k钳枕,對所有x,z∈X缴渊,滿足k(x,z)=<?(xi),?(x)>,這里?(·)是從原始輸入空間X到內(nèi)積空間F的映射鱼炒。

在實(shí)際使用中衔沼,有多種比較常見的核函數(shù)形式(所以核函數(shù)實(shí)際上都是一種近似):


常用的核函數(shù)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市昔瞧,隨后出現(xiàn)的幾起案子指蚁,更是在濱河造成了極大的恐慌,老刑警劉巖自晰,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件凝化,死亡現(xiàn)場離奇詭異,居然都是意外死亡酬荞,警方通過查閱死者的電腦和手機(jī)搓劫,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來混巧,“玉大人枪向,你說我怎么就攤上這事∵值常” “怎么了秘蛔?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長傍衡。 經(jīng)常有香客問我深员,道長,這世上最難降的妖魔是什么聪舒? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任辨液,我火速辦了婚禮,結(jié)果婚禮上箱残,老公的妹妹穿的比我還像新娘滔迈。我一直安慰自己,他們只是感情好被辑,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布燎悍。 她就那樣靜靜地躺著,像睡著了一般盼理。 火紅的嫁衣襯著肌膚如雪谈山。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天宏怔,我揣著相機(jī)與錄音奏路,去河邊找鬼畴椰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛鸽粉,可吹牛的內(nèi)容都是我干的斜脂。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼触机,長吁一口氣:“原來是場噩夢啊……” “哼帚戳!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起儡首,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤片任,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后蔬胯,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體对供,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年氛濒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了犁钟。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,926評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡泼橘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出迈勋,到底是詐尸還是另有隱情炬灭,我是刑警寧澤,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布靡菇,位于F島的核電站重归,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏厦凤。R本人自食惡果不足惜鼻吮,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望较鼓。 院中可真熱鬧椎木,春花似錦、人聲如沸博烂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽禽篱。三九已至畜伐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間躺率,已是汗流浹背玛界。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工万矾, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人慎框。 一個(gè)月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓良狈,卻偏偏與公主長得像,于是被迫代替她去往敵國和親鲤脏。 傳聞我的和親對象是個(gè)殘疾皇子们颜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 本章涉及到的知識(shí)點(diǎn)清單:1、決策面方程2猎醇、函數(shù)間隔和幾何間隔3窥突、不等式約束條件4、SVM最優(yōu)化模型的數(shù)學(xué)描述(凸二...
    PrivateEye_zzy閱讀 13,236評論 3 10
  • 機(jī)器學(xué)習(xí)是做NLP和計(jì)算機(jī)視覺這類應(yīng)用算法的基礎(chǔ)硫嘶,雖然現(xiàn)在深度學(xué)習(xí)模型大行其道阻问,但是懂一些傳統(tǒng)算法的原理和它們之間...
    在河之簡閱讀 20,504評論 4 65
  • 參考Jerrylead和july-支持向量機(jī)通俗導(dǎo)論 一、由邏輯回歸沦疾,引申出SVM(線性可分的SVM) 1.1 邏...
    小碧小琳閱讀 1,444評論 0 2
  • 一称近、SVM模型 1. SVM功能體驗(yàn) ??首先通過一個(gè)例子來了解SVM的作用;不用關(guān)注該例子的代碼哮塞,直接觀察圖示效...
    楊強(qiáng)AT南京閱讀 957評論 3 6
  • 【概述】 SVM訓(xùn)練分類器的方法是尋找到超平面刨秆,使正負(fù)樣本在超平面的兩側(cè)(分類正確性即“分得開”),且樣本到超平面...
    sealaes閱讀 11,072評論 0 7