SVM支持向量機(jī)

一、簡(jiǎn)介

支持向量機(jī)（support vector machines）是一種二分類模型爆惧，它的目的是尋找一個(gè)超平面來(lái)對(duì)樣本進(jìn)行分割饿这，分割的原則是間隔最大化，最終轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題來(lái)求解谤职。由簡(jiǎn)至繁的模型包括：

當(dāng)訓(xùn)練樣本線性可分時(shí)，通過(guò)硬間隔最大化亿鲜，學(xué)習(xí)一個(gè)線性可分支持向量機(jī)允蜈；

當(dāng)訓(xùn)練樣本近似線性可分時(shí)，通過(guò)軟間隔最大化蒿柳，學(xué)習(xí)一個(gè)線性支持向量機(jī)饶套；

當(dāng)訓(xùn)練樣本線性不可分時(shí)，通過(guò)核技巧和軟間隔最大化垒探，學(xué)習(xí)一個(gè)非線性支持向量機(jī)妓蛮；

二、線性可分支持向量機(jī)

? 給定訓(xùn)練樣本集D=(x1,y1)圾叼，(x2,y2)蛤克，?,(xm,ym)D=(x1,y1)，(x2,y2)夷蚊，?,(xm,ym),其中yi∈{?1,+1}yi∈{?1,+1},分類學(xué)習(xí)最基本的想法就是基于訓(xùn)練集D在樣本空間中找到一個(gè)劃分超平面构挤，將不同類別的樣本分開(kāi)。

? 直觀看上去惕鼓，能將訓(xùn)練樣本分開(kāi)的劃分超平面有很多筋现，但應(yīng)該去找位于兩類訓(xùn)練樣本“正中間”的劃分超平面，即圖6.1中紅色的那條，因?yàn)樵搫澐殖矫鎸?duì)訓(xùn)練樣本局部擾動(dòng)的“容忍”性最好矾飞，例如一膨，由于訓(xùn)練集的局限性或者噪聲的因素，訓(xùn)練集外的樣本可能比圖6.1中的訓(xùn)練樣本更接近兩個(gè)類的分隔界洒沦，這將使許多劃分超平面出現(xiàn)錯(cuò)誤豹绪。而紅色超平面的影響最小，簡(jiǎn)言之微谓，這個(gè)劃分超平面所產(chǎn)生的結(jié)果是魯棒性的森篷。

? 那什么是線性可分呢？

? 如果一個(gè)線性函數(shù)能夠?qū)颖痉珠_(kāi)豺型，稱這些數(shù)據(jù)樣本是線性可分的仲智。那么什么是線性函數(shù)呢？其實(shí)很簡(jiǎn)單姻氨，在二維空間中就是一條直線钓辆，在三維空間中就是一個(gè)平面，以此類推肴焊，如果不考慮空間維數(shù)前联，這樣的線性函數(shù)統(tǒng)稱為超平面。我們看一個(gè)簡(jiǎn)單的二維空間的例子娶眷，O代表正類似嗤，X代表負(fù)類，樣本是線性可分的届宠，但是很顯然不只有這一條直線可以將樣本分開(kāi)烁落，而是有無(wú)數(shù)條，我們所說(shuō)的線性可分支持向量機(jī)就對(duì)應(yīng)著能將數(shù)據(jù)正確劃分并且間隔最大的直線豌注。

?

那么我們考慮第一個(gè)問(wèn)題伤塌，為什么要間隔最大呢？一般來(lái)說(shuō)轧铁，一個(gè)點(diǎn)距離分離超平面的遠(yuǎn)近可以表示分類預(yù)測(cè)的確信度每聪，如圖中的A B兩個(gè)樣本點(diǎn)，B點(diǎn)被預(yù)測(cè)為正類的確信度要大于A點(diǎn)齿风，所以SVM的目標(biāo)是尋找一個(gè)超平面药薯，使得離超平面較近的異類點(diǎn)之間能有更大的間隔，即不必考慮所有樣本點(diǎn)救斑，只需讓求得的超平面使得離它近的點(diǎn)間隔最大童本。

接下來(lái)考慮第二個(gè)問(wèn)題，怎么計(jì)算間隔系谐？只有計(jì)算出了間隔，才能使得間隔最大化。在樣本空間中纪他，劃分超平面可通過(guò)如下線性方程來(lái)描述：

?

WTx+b=0

WTx+b=0

其中w為法向量鄙煤，決定了超平面的方向，b為位移量茶袒，決定了超平面與原點(diǎn)的距離梯刚。假設(shè)超平面能將訓(xùn)練樣本正確地分類，即對(duì)于訓(xùn)練樣本(xi,yi)(xi,yi)薪寓，滿足以下公式：

?

{WTxi+b≥+1WTxi+b≤?1yi=+1yi=?1

{WTxi+b≥+1yi=+1WTxi+b≤?1yi=?1

該公式被稱為最大間隔假設(shè)亡资，yi=+1 表示樣本為正樣本，yi=?1 表示樣本為負(fù)樣本向叉，式子前面選擇大于等于+1锥腻，小于等于-1只是為了計(jì)算方便，原則上可以是任意常數(shù)母谎，但無(wú)論是多少瘦黑，都可以通過(guò)對(duì) w 的變換使其為 +1 和 -1 。實(shí)際上該公式等價(jià)于奇唤；yi(WTxi+b)≥+1yi(WTxi+b)≥+1

如圖6.2所示幸斥，距離超平面最近的這幾個(gè)樣本點(diǎn)滿足yi(WTxi+b)=1yi(WTxi+b)=1，它們被稱為“支持向量”咬扇。虛線稱為邊界甲葬，兩條虛線間的距離稱為間隔（margin）。

?

? 關(guān)于間隔的計(jì)算：它就等于兩個(gè)異類支持向量的差在 W方向上的投影 懈贺，W方向是指圖6.2所示實(shí)線的法線方向经窖。

即：

??

進(jìn)而可以推出：

??

故有：γ=（x→+?x→?）W?→T||W||=1?b+1+b||W||=2||W||γ=（x→+?x→?）W→T||W||=1?b+1+b||W||=2||W||

至此，我們求得了間隔隅居，SVM的思想是使得間隔最大化钠至，也就是：

? max2||W||max2||W||

? s.t.yi(WTxi+b)≥+1s.t.yi(WTxi+b)≥+1

顯然，最大化 2/||w|| 相當(dāng)于最小化 ||w||胎源，為了計(jì)算方便棉钧，將公式轉(zhuǎn)化成如下公式，它即為支持向量機(jī)的基本型：

? min12||W||2min12||W||2

? s.t.yi(WTxi+b)≥+1s.t.yi(WTxi+b)≥+1

該基本型是一個(gè)凸二次規(guī)劃問(wèn)題涕蚤，可以采用拉格朗日乘子法對(duì)其對(duì)偶問(wèn)題求解求解宪卿，拉格朗日函數(shù)：

對(duì)W,b求導(dǎo)可得；

令其分別為0万栅，可得：

將其帶入拉格朗日函數(shù)（8）中佑钾，可得：

原問(wèn)題就轉(zhuǎn)換為如下關(guān)于aa的問(wèn)題：

解出 α 之后，根據(jù)公式（9）可以求得 w 烦粒， 進(jìn)而求得 b休溶，可以得到模型：

該過(guò)程的KTT條件為代赁；

我們分析一下，對(duì)于任意的訓(xùn)練樣本 (xi,yi)兽掰，

若 αi=0αi=0芭碍，則其不會(huì)在公式（13）中的求和項(xiàng)中出現(xiàn)，也就是說(shuō)孽尽，它不影響模型的訓(xùn)練窖壕；

若 αi>0αi>0，則yif(xi)?1=0yif(xi)?1=0杉女，也就是 yif(xi)=1yif(xi)=1瞻讽，即該樣本一定在邊界上，是一個(gè)支持向量熏挎。

這里顯示出了支持向量機(jī)的重要特征：當(dāng)訓(xùn)練完成后速勇，大部分樣本都不需要保留，最終模型只與支持向量有關(guān)婆瓜。

三快集、非線性支持向量機(jī)和核函數(shù)

對(duì)于非線性問(wèn)題，線性可分支持向量機(jī)并不能有效解決廉白，要使用非線性模型才能很好地分類个初。先看一個(gè)例子，如下圖猴蹂，很顯然使用直線并不能將兩類樣本分開(kāi)院溺，但是可以使用一條橢圓曲線（非線性模型）將它們分開(kāi)。非線性問(wèn)題往往不好求解磅轻，所以希望能用解線性分類問(wèn)題的方法求解珍逸，因此可以采用非線性變換，將非線性問(wèn)題變換成線性問(wèn)題聋溜。


對(duì)于這樣的問(wèn)題谆膳，可以將訓(xùn)練樣本從原始空間映射到一個(gè)更高維的空間，使得樣本在這個(gè)空間中線性可分撮躁，如果原始空間維數(shù)是有限的漱病，即屬性是有限的，那么一定存在一個(gè)高維特征空間使樣本可分把曼。令?(x)表示將 x 映射后的特征向量杨帽，于是在特征空間中，劃分超平面所對(duì)應(yīng)的的模型可表示為：

f(x)=wT?(x)+b????????（14）

于是有最小化函數(shù)：

其對(duì)偶問(wèn)題為：

若要對(duì)公式（16）求解嗤军，會(huì)涉及到計(jì)算?(xi)T?(xj)?(xi)T?(xj)注盈，這是樣本 xi 和 xj映射到特征空間之后的內(nèi)積，由于特征空間的維數(shù)可能很高叙赚，甚至是無(wú)窮維老客，因此直接計(jì)算?(xi)T?(xj)?(xi)T?(xj)通常是困難的僚饭，于是想到這樣一個(gè)函數(shù)：

即 xi和 xj在特征空間中的內(nèi)積等于他們?cè)谠紭颖究臻g中通過(guò)函數(shù) κ(xi,xj)計(jì)算的函數(shù)值，于是公式（16）寫(xiě)成如下：

求解后得到：

這里的函數(shù) κ(xi,xj) 就是核函數(shù)胧砰，在實(shí)際應(yīng)用中浪慌，通常人們會(huì)從一些常用的核函數(shù)里選擇（根據(jù)樣本數(shù)據(jù)的不同，選擇不同的參數(shù)朴则，實(shí)際上就得到了不同的核函數(shù)）

四、線性支持向量機(jī)（軟間隔支持向量機(jī)）與松弛變量

1钓简、線性支持向量機(jī)

在前面的討論中乌妒，我們假設(shè)訓(xùn)練樣本在樣本空間或者特征空間中是線性可分的，但在現(xiàn)實(shí)任務(wù)中往往很難確定合適的核函數(shù)使訓(xùn)練集在特征空間中線性可分外邓，退一步說(shuō)撤蚊，即使瞧好找到了這樣的核函數(shù)使得樣本在特征空間中線性可分，也很難判斷是不是由于過(guò)擬合造成损话。

線性不可分意味著某些樣本點(diǎn) (xi,yi) 不能滿足間隔大于等于1的條件侦啸，樣本點(diǎn)落在超平面與邊界之間。為解決這一問(wèn)題丧枪，可以對(duì)每個(gè)樣本點(diǎn)引入一個(gè)松弛變量 ξi≥0光涂，使得間隔加上松弛變量大于等于1，這樣約束條件變?yōu)椋?/p>

同時(shí)拧烦，對(duì)于每一個(gè)松弛變量ξi≥0ξi≥0忘闻，支付一個(gè)代價(jià) ξi≥0ξi≥0，目標(biāo)函數(shù)變?yōu)椋?/p>

其中 C>0為懲罰參數(shù)恋博，C值大時(shí)對(duì)誤分類的懲罰增大齐佳， C值小時(shí)對(duì)誤分類的懲罰減小，公式（21）包含兩層含義：使 ||W||22||W||22 盡量小即間隔盡量大债沮，同時(shí)使誤分類點(diǎn)的個(gè)數(shù)盡量小炼吴，C是調(diào)和兩者的系數(shù)。 有了公式（21）疫衩，可以和線性可分支持向量機(jī)一樣考慮線性支持向量機(jī)的學(xué)習(xí)過(guò)程硅蹦，此時(shí)，線性支持向量機(jī)的學(xué)習(xí)問(wèn)題變成如下凸二次規(guī)劃問(wèn)題的求解（原始問(wèn)題）：

其對(duì)偶問(wèn)題隧土，與線性可分支持向量機(jī)的對(duì)偶問(wèn)題解法一致提针，公式（22）的拉格朗日函數(shù)為：

其中 αi≥0,μi≥0αi≥0,μi≥0是拉格朗日乘子。

令L(w,b,α,ξ,μ)對(duì)w,b,ξL(w,b,α,ξ,μ)對(duì)w,b,ξ的偏導(dǎo)數(shù)為0可得如下:

將公式（24）（25）（26）代入公式（23）得對(duì)偶問(wèn)題：

上述過(guò)程的KTT條件如下：

我們分析一下曹傀，對(duì)于任意的訓(xùn)練樣本 (xi,yi)辐脖，總有 αi=0 或者yif(xi)?1+ξi=0yif(xi)?1+ξi=0。

若 αi=0 皆愉，則該樣本不出現(xiàn)在公式（13）中嗜价，不影響模型艇抠。

若 αi>0，必有yif(xi)?1+ξi=0yif(xi)?1+ξi=0久锥，即 yif(xi)=1?ξiyif(xi)=1?ξi家淤，此時(shí)該樣本為支持向量。

由于C=αi+μiC=αi+μi（公式26）

若 αi

五瑟由、拉格朗日乘子法：

在求取有約束條件的優(yōu)化問(wèn)題時(shí)絮重，拉格朗日乘子法（Lagrange Multiplier) 和KKT條件是非常重要的兩個(gè)求取方法，對(duì)于等式約束的優(yōu)化問(wèn)題歹苦，可以應(yīng)用拉格朗日乘子法去求取最優(yōu)值青伤；如果含有不等式約束，可以應(yīng)用KKT條件去求取殴瘦。當(dāng)然狠角，這兩個(gè)方法求得的結(jié)果只是必要條件，只有當(dāng)是凸函數(shù)的情況下蚪腋，才能保證是充分必要條件丰歌。KKT條件是拉格朗日乘子法的泛化。之前學(xué)習(xí)的時(shí)候屉凯，只知道直接應(yīng)用兩個(gè)方法立帖，但是卻不知道為什么拉格朗日乘子法（Lagrange Multiplier) 和KKT條件能夠起作用，為什么要這樣去求取最優(yōu)值呢悠砚？

首先把什么是拉格朗日乘子法（Lagrange Multiplier) 和KKT條件敘述一下厘惦；然后開(kāi)始分別談?wù)劄槭裁匆@樣求最優(yōu)值。

1. 拉格朗日乘子法（Lagrange Multiplier) 和KKT條件

通常我們需要求解的最優(yōu)化問(wèn)題有如下幾類：

(i) 無(wú)約束優(yōu)化問(wèn)題哩簿，可以寫(xiě)為:

? min f(x);

(ii) 有等式約束的優(yōu)化問(wèn)題宵蕉，可以寫(xiě)為:

? min f(x),

? s.t. h_i(x) = 0; i =1, …, n

(iii) 有不等式約束的優(yōu)化問(wèn)題，可以寫(xiě)為：

? min f(x),

? s.t. g_i(x) <= 0; i =1, …, n

? h_j(x) = 0; j =1, …, m

對(duì)于第(i)類的優(yōu)化問(wèn)題节榜，常常使用的方法就是Fermat定理羡玛，即使用求取f(x)的導(dǎo)數(shù)，然后令其為零宗苍，可以求得候選最優(yōu)值稼稿，再在這些候選值中驗(yàn)證；如果是凸函數(shù)讳窟，可以保證是最優(yōu)解让歼。

對(duì)于第(ii)類的優(yōu)化問(wèn)題，常常使用的方法就是拉格朗日乘子法（Lagrange Multiplier) 丽啡，即把等式約束h_i(x)用一個(gè)系數(shù)與f(x)寫(xiě)為一個(gè)式子谋右，稱為拉格朗日函數(shù)，而系數(shù)稱為拉格朗日乘子补箍。通過(guò)拉格朗日函數(shù)對(duì)各個(gè)變量求導(dǎo)改执，令其為零啸蜜，可以求得候選值集合，然后驗(yàn)證求得最優(yōu)值辈挂。

對(duì)于第(iii)類的優(yōu)化問(wèn)題衬横，常常使用的方法就是KKT條件。同樣地终蒂，我們把所有的等式蜂林、不等式約束與f(x)寫(xiě)為一個(gè)式子，也叫拉格朗日函數(shù)拇泣，系數(shù)也稱拉格朗日乘子悉尾，通過(guò)一些條件，可以求出最優(yōu)值的必要條件挫酿，這個(gè)條件稱為KKT條件。

(a) 拉格朗日乘子法（Lagrange Multiplier)

對(duì)于等式約束愕难，我們可以通過(guò)一個(gè)拉格朗日系數(shù)a 把等式約束和目標(biāo)函數(shù)組合成為一個(gè)式子L(a, x) = f(x) + a*h(x), 這里把a(bǔ)和h(x)視為向量形式早龟，a是橫向量，h(x)為列向量猫缭。

然后求取最優(yōu)值葱弟，可以通過(guò)對(duì)L(a,x)對(duì)各個(gè)參數(shù)求導(dǎo)取零，聯(lián)立等式進(jìn)行求取猜丹。

(b) KKT條件

對(duì)于含有不等式約束的優(yōu)化問(wèn)題芝加，如何求取最優(yōu)值呢？常用的方法是KKT條件射窒，同樣地藏杖，把所有的不等式約束、等式約束和目標(biāo)函數(shù)全部寫(xiě)為一個(gè)式子L(a, b, x)= f(x) + a*g(x)+b*h(x)脉顿，KKT條件是說(shuō)最優(yōu)值必須滿足以下條件：

\1. L(a, b, x)對(duì)x求導(dǎo)為零蝌麸；

\2. h(x) =0;

\3. a*g(x) = 0;

求取這三個(gè)等式之后就能得到候選最優(yōu)值。其中第三個(gè)式子非常有趣艾疟，因?yàn)間(x)<=0来吩，如果要滿足這個(gè)等式，必須a=0或者g(x)=0. 這是SVM的很多重要性質(zhì)的來(lái)源蔽莱，如支持向量的概念弟疆。

(C) 有不等式約束的優(yōu)化問(wèn)題

假設(shè)我們求解的不等式約束的優(yōu)化問(wèn)題如下：

minf(x)

s.t.gi(x)?0 i=1,…,m

? hi(x)=0;i=1,…,m

那么根據(jù)前面講解的拉格朗日函數(shù)，我們可以得到如下的公式：

minL(x,λ,b)=f(x)+∑qi=1λigi(x)+∑mi=1bhi(x)minL(x,λ,b)=f(x)+∑i=1qλigi(x)+∑i=1mbhi(x)

如果我們對(duì)這樣的公式求最小值會(huì)出現(xiàn)什么問(wèn)題呢盗冷？由于沒(méi)有任何的限制條件怠苔，所以λg(x)的值可能為正也可能為負(fù)，這樣在無(wú)形中就增加了我們的驗(yàn)證難度仪糖，**所以這里我們可以將λiλi調(diào)整為最大的正值嘀略，使λg(x)的值趨近于負(fù)無(wú)窮恤溶，使由于x變化導(dǎo)致的f(x)的變化基本上不會(huì)影響λg(x)的變化，這樣我們就可以忽略后半部分λg(x)的值帜羊，而只關(guān)注前邊f(xié)(x)的部分就可以了咒程。這樣就延伸出如下的問(wèn)題：

θp(x)=maxλ?0L(x,λ,b)θp(x)=maxλ?0?L(x,λ,b)

即：求解λ最大值，使λg(x)趨近于負(fù)無(wú)窮（這個(gè)負(fù)無(wú)窮是相對(duì)的讼育，取決于實(shí)際的情況）的值帐姻。

這樣我們的問(wèn)題就轉(zhuǎn)變成了如下的內(nèi)容：

minxf(x)=minxθp(x)=minxmaxλL(x,λ,b)minxf(x)=minxθp(x)=minxmaxλL(x,λ,b)

s.t.λ?0s.t.λ?0

如果我們直接求解minxθp(x)minxθp(x)的話，不好求解奶段，這里有兩個(gè)參數(shù)饥瓷，并且存在一個(gè)不等式約束，這個(gè)求解過(guò)程是比較復(fù)雜的痹籍。要求解這個(gè)過(guò)程話呢铆，我們需要先了解下拉格朗日對(duì)偶的問(wèn)題。

首先思考一下蹲缠，我們考慮這個(gè)公式的對(duì)偶面棺克，即：先在λ固定的情況下，求解關(guān)于x的最小值线定，然后再針對(duì)λ求最大值娜谊。

如果我們只是簡(jiǎn)單的調(diào)換下求極值的順序，那么會(huì)產(chǎn)生如下的結(jié)果：

minxmaxλL(x,λ,b)?maxλminxL(x,λ,b)minxmaxλL(x,λ,b)?maxλminxL(x,λ,b)

由于我們需要的是兩個(gè)等式相等斤讥，那么我們就需要尋找能夠使兩者相等的條件纱皆，這里呢我們就需要引入KKT條件了，KKT條件有如下幾條:

?L(x,λ,b)?x?L(x,λ,b)?x的值為0芭商，即拉格朗日函數(shù)對(duì)x求導(dǎo)的值為0派草。求極值的必須要求。

bi≠0铛楣。根據(jù)拉格朗日算子法澳眷，那么算子系數(shù)b的話就不能夠?yàn)?（定義中的東西）。

λ?0蛉艾。這個(gè)條件已經(jīng)在前邊講過(guò)了钳踊，需要尋找不等式值的負(fù)無(wú)窮，使我們能夠?qū)⑶笾颠^(guò)程簡(jiǎn)化勿侯。

λg(x)=0拓瞪。

hi(x)=0;i=1,…,q。這個(gè)是前提條件助琐。

gi(x)?0;i=1,…,m祭埂。這個(gè)也是前提條件。

(d)拉格朗日對(duì)偶問(wèn)題

如果我們求解一下不等式的優(yōu)化問(wèn)題：

minf(x)minf(x)

s.t.gi(x)?0;i=1,…,ms.t.gi(x)?0;i=1,…,m

如果我們用KKT條件話會(huì)生成如下的函數(shù)：

minL(x,λ)=f(x)+∑qi=1λigi(x)minL(x,λ)=f(x)+∑i=1qλigi(x)

s.t.λi?0,gi(x)?0s.t.λi?0,gi(x)?0

這個(gè)函數(shù)是不是有點(diǎn)熟悉，這個(gè)和我們?cè)谏厦嬷v解的拉格朗日乘子法很想像蛆橡，但是不同的是限制條件——拉格朗日算子法的限制條件是λ≠0舌界，而KKT條件的限制條件是：λ?0。KKT條件實(shí)際上是對(duì)拉格朗日乘子法的泛化泰演。

接下來(lái)將為大家展示一個(gè)基于KKT條件生成的函數(shù)(滿足KTT條件)產(chǎn)生的一個(gè)證明過(guò)程呻拌，如下所示：

∵.λi?0且gi(x)?0.λi?0且gi(x)?0

∴λg(x)?0∴λg(x)?0

∴maxλL(x,λ)=f(x)∴maxλL(x,λ)=f(x)

∴minxf(x)=minxmaxλL(x,λ)∴minxf(x)=minxmaxλL(x,λ)

這里我們看一下另外一個(gè)等式：

maxλminxL(x,λ)=maxλ[minxf(x)+minxλg(x)]=maxλminxf(x)+maxλminxλg(x)=minxf(x)+maxλminxλg(x)maxλminxL(x,λ)=maxλ[minxf(x)+minxλg(x)]=maxλminxf(x)+maxλminxλg(x)=minxf(x)+maxλminxλg(x)(1)

這里講解一下上（1）式的變化過(guò)程，對(duì)于f(x)來(lái)說(shuō)睦焕，變量λ對(duì)于f(x)來(lái)說(shuō)是無(wú)效的藐握，所以我們可以進(jìn)行這種變換。

∵.λi?0且gi(x)?0∵.λi?0且gi(x)?0

∴λg(x)={0?∞λ=0org(x)=0λ>0andg(x)<0

∴λg(x)={0λ=0org(x)=0?∞λ>0andg(x)<0

∴當(dāng)λ=0或g(x)=0時(shí)maxλminxλg(x)=0∵maxλminxL(x,λ)=minxf(x)+maxλminxλg(x)∴當(dāng)λ=0或g(x)=0時(shí)maxλminxλg(x)=0∵maxλminxL(x,λ)=minxf(x)+maxλminxλg(x)

∴maxλminxL(x,λ)=minxf(x)∴maxλminxL(x,λ)=minxf(x) (2)（因?yàn)闈M足KTT條件是垃喊，一定有λ=0 或 g(x)=0）

據(jù)此根據(jù)（1）（2）猾普，我們可以得到如下的公式：

maxλminxL(x,λ)=minxmaxλL(x,,λ)

————————————————

版權(quán)聲明：本文為CSDN博主「luckmia」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議本谜，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明初家。

原文鏈接：https://blog.csdn.net/qq_35992440/article/details/80987664