支持向量機(jī)原理(Support Vector Machine)

原博客：https://daya-jin.github.io/2018/10/17/SupportVectorMachine/

模型概述

首先回顧一下Logistic Regression枪眉，對(duì)于一組數(shù)據(jù) $X$ 與標(biāo)簽 $Y$ 号阿，Logistic Regression的任務(wù)是要找到一組參數(shù)使得 $X\theta^{T}=threshold$ ，對(duì)于 $x\theta^{T}\lt{threshold}$ 的樣本判定為負(fù)樣本，而對(duì)于 $x\theta^{T}\gt{threshold}$ 的樣本判定為正樣本炮叶，其是一個(gè)線性分類器丈秩。問(wèn)題在于如迟，如果有一個(gè)理想數(shù)據(jù)集線性可分蓖柔，那么模型會(huì)因?yàn)閰?shù)的不同而具有不同的決策邊界，那么在這些決策邊界中如何判定孰優(yōu)孰劣闸昨？

（不支持矢量圖蚯斯，請(qǐng)移步原博客查看）

對(duì)于Logistic Regression這種概率模型而言，在給定一個(gè)確定的threshold之后饵较，就可以畫(huà)出其決策邊界拍嵌，空間中的樣本點(diǎn)離決策邊界越遠(yuǎn)，說(shuō)明模型對(duì)該樣本的判定可信度越高循诉。那么横辆，在若干決策邊界中，只需要找到一個(gè)決策邊界茄猫，使得模型對(duì)兩個(gè)類別的判定可信度均最高即可獲得一個(gè)最優(yōu)分類器狈蚤。由此引出支持向量機(jī)(Support Vector Machine)：

數(shù)據(jù)集 $X=[x^{(1)},x^{(2)},...,x^{(m)}]^{T}$ 困肩，標(biāo)簽 $Y=[y^{(1)},y^{(2)},...,y^{(m)}]\in\{+1,-1\}$ ，為了實(shí)現(xiàn)分類的目的脆侮，需要找到一組參數(shù)滿足 $x\theta^{T}+\theta_{0}=0$ 锌畸，同時(shí)還需要滿足 $X$ 中的各樣本點(diǎn)離決策邊界 $x\theta^{T}=0$ 的距離最遠(yuǎn)。

SVM模型對(duì)未知樣本的預(yù)測(cè)計(jì)算如下：

$\hat{y}= \left\{ \begin{aligned} &+1, &\hat{x}\theta^{T}+\theta_{0}\ge+1\\ &-1, &\hat{x}\theta^{T}+\theta_{0}\le-1 \\ \end{aligned} \right.$

換句話說(shuō)靖避，SVM模型的決策邊界實(shí)際上是由兩條直線決定的：

$x\theta^{T}+\theta_{1}=+1 \\ x\theta^{T}+\theta_{2}=-1$

在訓(xùn)練數(shù)據(jù)集中潭枣，滿足以上直線方程的樣本點(diǎn)就被稱為支持向量(support vector)。根據(jù)平行直線距離公式
$\frac{|C_{1}-C_{2}|}{\sqrt{A^{2}+B^{2}}}$
得這兩條直線之間的距離為：
$d=\frac{2}{||\theta||_{2}}$

[圖片上傳失敗...(image-4d76c8-1558875604764)]

對(duì)分類任務(wù)而言幻捏，還需要滿足分類的準(zhǔn)確性盆犁，假設(shè)數(shù)據(jù)是線性可分的，則有：

$y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1$

所以SVM可以用如下表達(dá)式來(lái)描述：

$\theta^{*}=\arg\max\limits_{\theta} \ \frac{2}{||\theta||_{2}}, \qquad s.t. \ y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1,i=1,...m$

上式等價(jià)于：

$\theta^{*}=\arg\min\limits_{\theta} \ \frac{1}{2}||\theta||_{2}, \qquad s.t. \ y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1,i=1,...m$

容易看出SVM自帶參數(shù)正則化篡九。

接下來(lái)看一下SVM的損失函數(shù)谐岁，SVM只關(guān)心那些被誤分的點(diǎn)，而對(duì)于正確分類的點(diǎn)是不計(jì)入loss的瓮下，由幾何知識(shí)易得翰铡，模型對(duì)被正確分類的點(diǎn)的輸出總是滿足： $y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1$ 钝域，所以SVM的損失函數(shù)可以寫(xiě)成：
$Loss_{SVM}=\frac{1}{2}||\theta||_{2}+max(0,1-y(x\theta+\theta_{0}))$
以上是數(shù)據(jù)可分的情況讽坏，那么如果數(shù)據(jù)不可分呢？那么允許某些預(yù)測(cè)樣本不一定要嚴(yán)格在直線外側(cè)例证，允許某些樣本處于直線的內(nèi)側(cè)路呜，那么這些被“容忍”的樣本就不滿足 $y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1$ 了，為了量化這些被“容忍”的樣本偏離正軌的程度织咧，為每一個(gè)樣本引入一個(gè)松弛變量(slack variables) $\xi_{i}$ 胀葱，這些樣本需要滿足的條件就變?yōu)橄率剑?/p>

$y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1-\xi_{i}$

很顯然 $\xi_{i}\ge0$ ，并且該變量體現(xiàn)了模型允許樣本越界的程度笙蒙。那么自然而然地會(huì)想到這個(gè)越界程度不能是無(wú)限制的抵屿，所以還要對(duì)該變量進(jìn)行限制，因此SVM問(wèn)題就變成：

$\begin{aligned} \theta^{*}=\arg\min\limits_{\theta} \ \frac{1}{2}||\theta||_{2}+C\sum_{i=1}^{m}\xi_{i}, \qquad s.t.& \ y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1-\xi_{i},i=1,...m \\ & \ \xi_{i}\ge0,i=1,...m \\ \end{aligned}$

其中 $C$ 為樣本越界的代價(jià)系數(shù)捅位，其值越大轧葛，對(duì)越界的懲罰就越大。

最優(yōu)解

如果我們有如下優(yōu)化問(wèn)題：

$x^{*}=\arg\min\limits_{x}f(x) \qquad s.t. \ g(x)\le0 \\$

那么可以使用拉格朗日數(shù)乘法來(lái)得到一個(gè)拉格朗日函數(shù)：

$L(x,\lambda)=f(x)+{\lambda}g(x)$

其中 $\lambda>0$ ⊥Р螅現(xiàn)考慮針對(duì)參數(shù) $\lambda$ 最大化該函數(shù)：

$\lambda^{*}=\max\limits_{\lambda}L(x,\lambda)=f(x)+\max\limits_{\lambda}{\lambda}g(x)$

注意到 $\lambda>0$ 尿扯， $g(x)\le0$ ，所以在滿足原問(wèn)題約束條件的情況下焰雕，有：

$L(x,\lambda^{*})=f(x)$

所以原優(yōu)化問(wèn)題可以寫(xiě)成：

$x^{*},\lambda^{*}=\arg\min\limits_{x}\max\limits_{\lambda}L(x,\lambda)$

在解優(yōu)化問(wèn)題時(shí)衷笋，如果目標(biāo)函數(shù)是凸函數(shù)，那么就可以很容易得到一個(gè)全局最優(yōu)解矩屁。拉格朗日問(wèn)題還有一個(gè)對(duì)偶問(wèn)題：

$\lambda^{*},x^{*}=\arg\max\limits_{\lambda}\min\limits_{x}L(x,\lambda)$

原問(wèn)題與對(duì)偶問(wèn)題同解的充要條件為KKT條件：

$\begin{aligned} \frac{\partial L(x^{*},\lambda^{*})}{\partial x}&=0 \\ {\lambda}^{*}g(x^{*})&=0 \\ g(x^{*})&\le0 \\ \lambda^{*}&\ge0 \\ \end{aligned}$

SVM問(wèn)題是一個(gè)帶線性不等式約束的最優(yōu)化問(wèn)題辟宗，可以使用拉格朗日數(shù)乘法的對(duì)偶問(wèn)題來(lái)解：

$\begin{aligned} \lambda^{*},\theta^{*}&=\arg\max\limits_{\lambda}\min\limits_{\theta}L(\theta,\lambda) \\&=\arg\max\limits_{\lambda}\min\limits_{\theta}\frac{1}{2}||\theta||_{2}^{2}-\sum_{i=1}^{m}\lambda_{i}[y^{i}\cdot{}(x^{i}\theta^{T}+\theta_{0})-1], \qquad s.t. \ \lambda_{i}\ge0 \end{aligned}$

令 $\frac{\partial{L}}{\partial{\theta}}=\frac{\partial L}{\partial \theta_{0}}=0$ 得：

$\begin{aligned} \frac{\partial{L}}{\partial{\theta}}&=\theta-\sum_{i=1}^{m}\lambda_{i}y^{i}x^{i}=0 \\ \frac{\partial{L}}{\partial{\theta_{0}}}&=-\sum_{i=1}^{m}\lambda_{i}y^{i}=0 \\ \theta^{*}&=\sum_{i=1}^{m}\lambda_{i}y^{i}x^{i} \end{aligned}$

將拉格朗日函數(shù)展開(kāi)并代入最優(yōu) $\theta^{*}$ ：

$\begin{aligned} L(\theta^{*},\lambda)&=\frac{1}{2}||\theta^{*}||_{2}-\sum_{i=1}^{m}\lambda_{i}[y^{i}\cdot{}(x^{i}{\theta^{*}}^{T}+\theta_{0})-1] \\ &=\frac{1}{2}||\theta^{*}||_{2}-(\sum_{i=1}^{m}\lambda_{i}y^{i}x^{i})\cdot{\theta^{*}}^{T}-(\sum_{i=1}^{m}\lambda_{i}y^{i})\cdot\theta_{0}+\sum_{i=1}^{m}\lambda_{i} \\ &=\frac{1}{2}\theta^{*}{\theta^{*}}^{T}-\theta^{*}{\theta^{*}}^{T}+\sum_{i=1}^{m}\lambda_{i} \\ &=\sum_{i=1}^{m}\lambda_{i}-\frac{1}{2}\theta^{*}{\theta^{*}}^{T} \\ &=\sum_{i=1}^{m}\lambda_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}\lambda_{j}y^{i}y^{j}x^{i}{x^{j}}^{T} \end{aligned}$

最大化上式即可求出最優(yōu)化參數(shù) $\lambda^{*}$ ：

$\lambda^{*}=\arg\max\limits_{\lambda}L(\theta^{*},\lambda), \qquad s.t. \ \sum\limits_{i=1}^{m}\lambda_{i}y^{i}=0$

最優(yōu)的SVM模型輸出為：

$\begin{aligned} \hat{y}&= \left\{ \begin{aligned} &+1, &\hat{x}(\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}x^{i})^{T}\ge+1\\ &-1, &\hat{x}(\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}x^{i})^{T}\le-1 \\ \end{aligned} \right. \\ &= \left\{ \begin{aligned} &+1, &\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}\langle\hat{x},x^{i}\rangle\ge+1\\ &-1, &\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}\langle\hat{x},x^{i}\rangle\le+1\\ \end{aligned} \right. \end{aligned}$

其中 $\hat{x}$ 表示待預(yù)測(cè)的樣本爵赵， $\hat{y}$ 表示模型對(duì)該樣本的預(yù)測(cè)值÷眩回顧一下拉格朗日函數(shù)：

$max \ L(\lambda)=\frac{1}{2}||\theta^{*}||_{2}^{2}-\sum_{i=1}^{m}\lambda_{i}(y^{i}\cdot{}x^{i}{\theta^{*}}^{T}-1), \qquad s.t. \ \lambda_{i}\ge0$

注意到亚再，如果某樣本 $x^{i}$ 不是支持向量，那么有 $y^{i}\cdot{}x^{i}\theta^{T}-1\gt0$ 晨抡，為了最大化拉格朗日函數(shù)氛悬，必定有 $\lambda_{i}^{*}=0$ ，即非支持向量對(duì)應(yīng)的 $\lambda^{*}$ 均為0耘柱，從理論上說(shuō)明了SVM的決策邊界只跟支持向量有關(guān)如捅。

核函數(shù)

以上討論都是基于數(shù)據(jù)集線性可分的假設(shè)下，如果數(shù)據(jù)集在原始維度下線性不可分怎么辦调煎？最簡(jiǎn)單的辦法就是為數(shù)據(jù)集增加高維度特征镜遣。假設(shè)現(xiàn)在有一個(gè)二維數(shù)據(jù)集：

$X= \left[ \begin{matrix} x_{1}^{(1)}&x_{2}^{(1)} \\ x_{1}^{(2)}&x_{2}^{(2)} \\ \vdots \\ x_{1}^{(m)}&x_{2}^{(m)} \\ \end{matrix} \right]$

此數(shù)據(jù)集二維平面上線性不可分，但是在經(jīng)一個(gè)變換函數(shù) $\phi(x)$ 作用下生成的新數(shù)據(jù)集是線性可分的：

$\phi(x_{1},x_{2})=(x_{1}^2,\sqrt{2}x_{1}x_{2},x_{2}^2)$

對(duì)于升維后的新數(shù)據(jù)集 $\phi(X)?$ 士袄，SVM所做的計(jì)算變成了：

$\begin{aligned} pred&=\sum_{i=1}^{m}\lambda_{i}y^{(i)}\langle\phi(\hat{x}),\phi(x^{(i)})\rangle \\ &=\sum_{i=1}^{m}\lambda_{i}y^{(i)}\langle(\hat{x}_{1}^2,\sqrt{2}\hat{x}_{1}\hat{x}_{2},\hat{x}_{2}^2),({x_{1}^{(i)}}^2,\sqrt{2}x_{1}^{(i)}x_{2}^{(i)},{x_{2}^{(i)}}^2)\rangle \\ &=\sum_{i=1}^{m}\lambda_{i}y^{(i)}(\hat{x}_{1}^{2}{x_{1}^{(i)}}^{2}+2\hat{x}_{1}x_{1}^{(i)}\hat{x}_{2}x_{2}^{(i)}+\hat{x}_{2}^{2}{x_{2}^{(i)}}^{2}) \\ &=\sum_{i=1}^{m}\lambda_{i}y^{(i)}(\hat{x}_{1}x_{1}^{(i)}+\hat{x}_{2}x_{2}^{(i)})^{2} \\ &=\sum_{i=1}^{m}\lambda_{i}y^{(i)}\langle(\hat{x}_{1},\hat{x}_{2}),(x_{1}^{(1)},x_{2}^{(2)})\rangle^{2} \\ &=\sum_{i=1}^{m}\lambda_{i}y^{(i)}\langle\hat{x},x^{(i)}\rangle^{2} \end{aligned}$

通過(guò)上面的變換悲关，不難看出，在將數(shù)據(jù)集升維之后娄柳，SVM訓(xùn)練寓辱、預(yù)測(cè)時(shí)的計(jì)算其實(shí)就可以轉(zhuǎn)化為原始特征的計(jì)算，那么何必要對(duì)數(shù)據(jù)集進(jìn)行升維操作呢赤拒？

以上述數(shù)據(jù)集為例秫筏，選取一個(gè)函數(shù) $\kappa(x_{1},x_{2})=\langle{x_{1}},{x_{2}}\rangle^{2}$ ，用它來(lái)代替SVM的內(nèi)積計(jì)算：

$\hat{y}=\left\{ \begin{aligned} &+1, &\sum_{i=1}^{m}\lambda_{i}y^{i}\kappa(\hat{x},x^{i})\ge+1\\ &-1, &\sum_{i=1}^{m}\lambda_{i}y^{i}\kappa(\hat{x},x^{i})\ge+1\\ \end{aligned} \right.$

這樣一來(lái)挎挖，這個(gè)SVM模型的訓(xùn)練这敬、預(yù)測(cè)過(guò)程就等同于在高維空間進(jìn)行，即達(dá)到了線性劃分?jǐn)?shù)據(jù)集的目的蕉朵，也沒(méi)有增加復(fù)雜的運(yùn)算崔涂，其中 $\kappa(x_{1},x_{2})$ 被稱為核函數(shù)(kernel function)，這種方法被稱為核技巧(kernel trick)始衅。

現(xiàn)實(shí)任務(wù)中冷蚂，一般是不知道要對(duì)數(shù)據(jù)應(yīng)用怎樣的升維函數(shù) $\phi(x)$ 才能使得數(shù)據(jù)集線性可分，那么自然就難以求得計(jì)算高維空間的核函數(shù) $\kappa(\cdot,\cdot)$ 觅闽，甚至不知道某函數(shù)是否能被用作核函數(shù)帝雇。

簡(jiǎn)單來(lái)說(shuō)，一個(gè)函數(shù)要能被當(dāng)做核函數(shù)蛉拙，需要滿足Mercer's condition尸闸，即對(duì)稱函數(shù) $\kappa(\cdot,\cdot)$ 的核矩陣必須滿足恒為半正定矩陣。

常用的核函數(shù)有如下幾種：

核函數(shù)	表達(dá)式	說(shuō)明
linear	$\kappa(x,y)={\langle}x,y{\rangle}$	計(jì)算原始空間的內(nèi)積
polynomial	$\kappa(x,y)=(\gamma{\langle}x,y{\rangle}+c)^06owycq$	計(jì)算d維空間的內(nèi)積
Radial Basis Function	$\kappa(x,y)=exp(-\gamma\|\|x-y\|\|^{2})$	-
sigmoid	$tanh(\gamma{\langle}x,y{\rangle}+c)$	-

軟間隔SVM

注意：軟間隔相當(dāng)于SVM的正則化

到目前為止，以上討論都是假設(shè)SVM在原始空間或者高維空間將數(shù)據(jù)集完全線性分割開(kāi)來(lái)吮廉，但是將數(shù)據(jù)完美的線性分開(kāi)是否會(huì)產(chǎn)生或擬合苞尝？由此引出軟間隔SVM。先前討論的SVM約束條件為：

$y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1$

這表示的是所有樣本都在該類對(duì)應(yīng)的支持向量的外側(cè)宦芦，那么宙址，現(xiàn)在允許一定數(shù)量的樣本不在外側(cè)，而在內(nèi)側(cè)调卑，需要滿足的條件變?yōu)椋?/p>

$y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1-\xi_{i}$

其中 $\xi$ 為松弛變量抡砂。顯然，這個(gè)變量不能過(guò)大恬涧，否則約束就無(wú)意義了注益，需要對(duì)它進(jìn)行限制，將其加入到最小化目標(biāo)函數(shù)中溯捆，原SVM的優(yōu)化問(wèn)題就變成了：

$\begin{aligned} min \ \frac{1}{2}||\theta||_{2}+C\sum_{i=1}^{m}\xi_{i}, \qquad s.t.& \ y^{(i)}(x^{(i)}\theta^{T}+\theta_{0})\ge1-\xi_{i},i=1,...m \\ & \ \xi_{i}\ge0,i=1,...m \\ \end{aligned}$

其中 $C$ 為權(quán)衡系數(shù)丑搔，其值越大對(duì)松弛變量的約束越大。此時(shí)的拉格朗日函數(shù)變?yōu)椋?/p>

$\begin{aligned} \max\limits_{\lambda,\gamma}\ \min\limits_{\theta,\xi} L(\theta,\xi,\lambda,\gamma)&=\frac{1}{2}||\theta||_{2}^{2}+C\sum\limits_{i=1}^{m}\xi_{i}-\sum_{i=1}^{m}\lambda_{i}(y^{i}\cdot{}x^{i}\theta^{T}+y^{i}\theta_{0}-1+\xi_{i})-\sum_{i=1}^{m}\gamma_{i}\xi_{i} \end{aligned}$

令 $\frac{\partial{L}}{\partial{\theta}}=\frac{\partial{L}}{\partial{\theta_{0}}}=\frac{\partial{L}}{\partial{\xi_{i}}}=0$ 得：

$\begin{aligned} \theta^{*}&=\sum_{i=1}^{m}\lambda_{i}y^{i}x^{i} \\ -\sum\limits_{i=1}^{m}\lambda_{i}y^{i}&=0 \\ C&=\lambda_{i}+\gamma_{i} \\ \end{aligned}$

將最優(yōu) $\theta^{*}$ 帶入得：

$\begin{aligned} L(\lambda,\xi)&=\frac{1}{2}||\theta^{*}||_{2}^{2}+\lambda_{i}\sum_{i=1}^{m}\xi_{i}+\gamma_{i}\sum_{i=1}^{m}\xi_{i}-\sum_{i=1}^{m}\lambda_{i}y^{i}x^{x}{\theta^{*}}^{T}+\sum_{i=1}^{m}\lambda_{i}-\sum_{i=1}^{m}\lambda_{i}\xi_{i}-\sum_{i=1}^{m}\gamma_{i}\xi_{i} \\ &=\frac{1}{2}\theta^{*}{\theta^{*}}^{T}-(\sum_{i=1}^{m}\lambda_{i}y^{i}x^{i})\cdot{\theta^{*}}^{T}+\sum_{i=1}^{m}\lambda_{i} \\ &=\sum_{i=1}^{m}\lambda_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}\lambda_{j}y^{i}y^{j}x^{i}{x^{j}}^{T} \end{aligned}$

可以看到需要最大化的目標(biāo)函數(shù)是一樣的提揍，只不過(guò)多了一個(gè)約束項(xiàng) $C=\lambda_{i}+\xi_{i}$ 啤月，完整寫(xiě)出來(lái)如下所示：

$\begin{aligned} \max\limits_{\lambda}\ L(\lambda)&=\sum_{i=1}^{m}\lambda_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\lambda_{i}\lambda_{j}y^{i}y^{j}x^{i}{x^{j}}^{T} \\ s.t. \ & 0\le\lambda_{i}\le{C}, \ \sum\limits\lambda_{i}y^{i}=0 \end{aligned}$

SVM的具體優(yōu)化算法請(qǐng)參閱SMO一章，實(shí)現(xiàn)指導(dǎo)也在那一章劳跃。這里只放出完整代碼：完整代碼

SVR

（待補(bǔ)充）

SVM V.S. LR

SVM與LR是經(jīng)常被用來(lái)比較的一對(duì)模型谎仲。

首先，從數(shù)學(xué)形式上來(lái)作對(duì)比售碳，然后再去探究背后的根源强重。對(duì)于機(jī)器學(xué)習(xí)模型而言绞呈，最核心的部分就是其損失函數(shù)或目標(biāo)函數(shù)贸人，該函數(shù)決定了算法的目的與優(yōu)化方法俺祠。

LR的損失函數(shù)為：

$\begin{aligned} Loss_{LR}&=\sum_{i}[y\ln\frac{1}{\hat{y}}+(1-y)\ln\frac{1}{1-\hat{y}}] \\ &=\sum_{i}[-y*x\theta^{T}+ln(1+e^{x\theta^{T}})] \\ \end{aligned}$

SVM的損失函數(shù)為：

$\begin{aligned} Loss_{SVM}&=\frac{1}{2}||\theta||_{2}+\sum\limits_{i}max(0,1-y\hat{y}) \\ &=\frac{1}{2}||\theta||_{2}+\sum\limits_{i}max(0,1-y(x\theta+\theta_{0})) \\ \end{aligned}$

不難發(fā)現(xiàn)走触，SVM中的 $max(0,1-y\hat{y})$ 項(xiàng)，在 $y\hat{y}{\ge}1$ 時(shí)為0褐筛，即SVM實(shí)際上對(duì)正確分類的樣本是不計(jì)入loss的圾亏。而反觀LR十拣，不難發(fā)現(xiàn)LR在數(shù)學(xué)形式上的loss是無(wú)法取得 $0$ 值的，這是因?yàn)閟igmoid函數(shù)的性質(zhì)就不允許模型精確地輸出 ${0,1}$ 值志鹃，理論上只有在無(wú)窮遠(yuǎn)處才能取得夭问。可以假設(shè)一個(gè)存在離群點(diǎn)的場(chǎng)景曹铃，若SVM對(duì)該離群點(diǎn)已能正確分類缰趋，那么在訓(xùn)練時(shí)就不會(huì)再將該點(diǎn)考慮進(jìn)去，而LR則會(huì)收該離群點(diǎn)的影響。所以可以看出秘血，SVM對(duì)離群點(diǎn)的抗性要高于LR味抖。而且，LR的決策邊界會(huì)受兩個(gè)類別樣本分布的影響灰粮，而SVM則不會(huì)仔涩，其決策邊界只受支持向量的影響。

同時(shí)還在損失函數(shù)中發(fā)現(xiàn)粘舟，SVM自帶L2正則項(xiàng)熔脂，LR則不帶。

然后柑肴，兩者的出發(fā)點(diǎn)就不同锤悄。LR是從概率的思想出發(fā)，使用一個(gè)線性回歸去擬合正反事件的對(duì)數(shù)機(jī)率嘉抒；而SVM的思想是啟發(fā)性的零聚，直接學(xué)習(xí)一個(gè)最大間隔超平面去將兩個(gè)類別分開(kāi)。

然后再看兩者的輸出函數(shù)些侍，LR的預(yù)測(cè)函數(shù)：

$\begin{aligned} \hat{y}_{LR}&=\frac{1}{1+e^{-x\theta^{T}}} \\ \end{aligned}$

SVM的預(yù)測(cè)函數(shù)：

$\begin{aligned} \hat{y}_{SVM}&= \left\{ \begin{aligned} &+1, &\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}\langle\hat{x},x^{i}\rangle\ge+1\\ &-1, &\sum_{i=1}^{m}\lambda_{i}^{*}y^{i}\langle\hat{x},x^{i}\rangle\le+1\\ \end{aligned} \right. \end{aligned}$

由于SMV的預(yù)測(cè)函數(shù)中存在兩訓(xùn)練樣本的內(nèi)積項(xiàng)隶症，所以核技巧能很自然而然的與SVM相結(jié)合；除了這個(gè)原因之外岗宣，SVM中的拉格朗日參數(shù) $\lambda$ 蚂会，非支持向量的該參數(shù)值是為 $0$ 的，所以在計(jì)算決策邊界時(shí)的計(jì)算量并不高耗式，這也是核技巧常用于SVM的原因之一胁住。

最后，兩者的優(yōu)化復(fù)雜度不一樣刊咳，LR由于模型本身簡(jiǎn)單彪见，可以使用迭代的梯度下降法進(jìn)行優(yōu)化；而SVM目前成熟的優(yōu)化方法就是SMO算法娱挨。另外余指，由于SVM使用了“距離”的概念，所以對(duì)數(shù)據(jù)做歸一化處理是有好處的跷坝，還由于維度詛咒的原因酵镜，在高維空間下距離的概念會(huì)變得十分抽象，所以在高維情況下柴钻，會(huì)更傾向于實(shí)用LR淮韭。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市贴届，隨后出現(xiàn)的幾起案子靠粪，更是在濱河造成了極大的恐慌足丢，老刑警劉巖，帶你破解...
沈念sama閱讀 218,941評(píng)論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件庇配，死亡現(xiàn)場(chǎng)離奇詭異斩跌，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)捞慌，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,397評(píng)論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)耀鸦，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人啸澡，你說(shuō)我怎么就攤上這事袖订。” “怎么了嗅虏？”我有些...
開(kāi)封第一講書(shū)人閱讀 165,345評(píng)論 0贊 356
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵洛姑，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我皮服，道長(zhǎng)楞艾，這世上最難降的妖魔是什么？我笑而不...
開(kāi)封第一講書(shū)人閱讀 58,851評(píng)論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任龄广，我火速辦了婚禮硫眯，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘择同。我一直安慰自己两入，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 67,868評(píng)論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布敲才。她就那樣靜靜地躺著裹纳，像睡著了一般。火紅的嫁衣襯著肌膚如雪紧武。梳的紋絲不亂的頭發(fā)上剃氧，一...
開(kāi)封第一講書(shū)人閱讀 51,688評(píng)論 1贊 305
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音脏里，去河邊找鬼她我。笑死虹曙，一個(gè)胖子當(dāng)著我的面吹牛迫横，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播酝碳，決...
沈念sama閱讀 40,414評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼矾踱，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了疏哗？” 一聲冷哼從身側(cè)響起呛讲，我...
開(kāi)封第一講書(shū)人閱讀 39,319評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后贝搁，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體吗氏，經(jīng)...
沈念sama閱讀 45,775評(píng)論 1贊 315
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,945評(píng)論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年雷逆，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了弦讽。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 40,096評(píng)論 1贊 350
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡膀哲，死狀恐怖往产，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情某宪，我是刑警寧澤仿村，帶...
沈念sama閱讀 35,789評(píng)論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站兴喂，受9級(jí)特大地震影響蔼囊，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜衣迷，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,437評(píng)論 3贊 331
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一压真、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧蘑险，春花似錦滴肿、人聲如沸。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 0贊 22
一樁弒父案泼差，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至呵俏，卻和暖如春堆缘，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背普碎。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 33,107評(píng)論 1贊 271
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工吼肥，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人麻车。一個(gè)月前我還...
沈念sama閱讀 48,308評(píng)論 3贊 372
代替公主和親
正文我出身青樓缀皱，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親动猬。傳聞我的和親對(duì)象是個(gè)殘疾皇子啤斗，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,037評(píng)論 2贊 355