https://blog.csdn.net/u010976453/article/details/78488279
1. 損失函數(shù)
損失函數(shù)（Loss function）是用來(lái)估量你模型的預(yù)測(cè)值 f(x)f(x) 與真實(shí)值 YY 的不一致程度氯檐，它是一個(gè)非負(fù)實(shí)值函數(shù)慢宗，通常用 L(Y,f(x))L(Y,f(x)) 來(lái)表示。損失函數(shù)越小，模型的魯棒性就越好。損失函數(shù)是經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)的核心部分，也是結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)的重要組成部分。模型的風(fēng)險(xiǎn)結(jié)構(gòu)包括了風(fēng)險(xiǎn)項(xiàng)和正則項(xiàng)，通常如下所示：
θ?=argminθ1N∑i=1NL(yi,f(xi;θ))+λ?Φ(θ)
θ?=arg?minθ1N∑i=1NL(yi,f(xi;θ))+λ?Φ(θ)
其中惰瓜，前面的均值函數(shù)表示的是經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)，LL代表的是損失函數(shù)汉矿，后面的 ΦΦ 是正則化項(xiàng)（regularizer）或者叫懲罰項(xiàng)（penalty term）崎坊，它可以是L1，也可以是L2洲拇，或者其他的正則函數(shù)奈揍。整個(gè)式子表示的意思是找到使目標(biāo)函數(shù)最小時(shí)的θθ值曲尸。
2. 常用損失函數(shù)
常見(jiàn)的損失誤差有五種：
1. 鉸鏈損失（Hinge Loss）：主要用于支持向量機(jī)（SVM） 中；
2. 互熵?fù)p失 （Cross Entropy Loss男翰，Softmax Loss ）：用于Logistic 回歸與Softmax 分類中另患；
3. 平方損失（Square Loss）：主要是最小二乘法（OLS）中；
4. 指數(shù)損失（Exponential Loss） ：主要用于Adaboost 集成學(xué)習(xí)算法中蛾绎；
5. 其他損失（如0-1損失昆箕，絕對(duì)值損失）
2.1 Hinge loss
Hinge loss 的叫法來(lái)源于其損失函數(shù)的圖形，為一個(gè)折線租冠，通用的函數(shù)表達(dá)式為：
L(mi)=max(0,1?mi(w))
L(mi)=max(0,1?mi(w))
表示如果被正確分類鹏倘，損失是0，否則損失就是 1?mi(w)1?mi(w) 顽爹。
在機(jī)器學(xué)習(xí)中纤泵，Hing 可以用來(lái)解 間距最大化 的問(wèn)題，最有代表性的就是SVM 問(wèn)題话原，最初的SVM 優(yōu)化函數(shù)如下：
argminw,ζ12||w||2+C∑iζist.?yiwTxi≥1?ζiζi≥0
argminw,ζ12||w||2+C∑iζist.?yiwTxi≥1?ζiζi≥0
將約束項(xiàng)進(jìn)行變形夕吻，則為：
ζi≥1?yiwTxi
ζi≥1?yiwTxi
則損失函數(shù)可以進(jìn)一步寫為：
J(w)=12||w||2+C∑imax(0,1?yiwTxi)=12||w||2+C∑imax(0,1?mi(w))=12||w||2+C∑iLHinge(mi)
J(w)=12||w||2+C∑imax(0,1?yiwTxi)=12||w||2+C∑imax(0,1?mi(w))=12||w||2+C∑iLHinge(mi)
因此诲锹， SVM 的損失函數(shù)可以看作是 L2-norm 和 Hinge loss 之和繁仁。
2.2 Softmax Loss
有些人可能覺(jué)得邏輯回歸的損失函數(shù)就是平方損失，其實(shí)并不是归园。平方損失函數(shù)可以通過(guò)線性回歸在假設(shè)樣本是高斯分布的條件下推導(dǎo)得到黄虱，而邏輯回歸得到的并不是平方損失。在邏輯回歸的推導(dǎo)中庸诱，它假設(shè)樣本服從伯努利分布（0-1分布）捻浦，然后求得滿足該分布的似然函數(shù)，接著取對(duì)數(shù)求極值等等桥爽。而邏輯回歸并沒(méi)有求似然函數(shù)的極值朱灿，而是把極大化當(dāng)做是一種思想，進(jìn)而推導(dǎo)出它的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)為：最小化負(fù)的似然函數(shù)（即maxF(y,f(x))→min?F(y,f(x)))maxF(y,f(x))→min?F(y,f(x)))钠四。從損失函數(shù)的視角來(lái)看盗扒，它就成了Softmax 損失函數(shù)了。
log損失函數(shù)的標(biāo)準(zhǔn)形式：
L(Y,P(Y|X))=?logP(Y|X)
L(Y,P(Y|X))=?log?P(Y|X)
剛剛說(shuō)到缀去，取對(duì)數(shù)是為了方便計(jì)算極大似然估計(jì)侣灶，因?yàn)樵贛LE中，直接求導(dǎo)比較困難缕碎，所以通常都是先取對(duì)數(shù)再求導(dǎo)找極值點(diǎn)褥影。損失函數(shù)L(Y,P(Y|X))L(Y,P(Y|X)) 表達(dá)的是樣本XX 在分類Y的情況下，使概率P(Y|X)P(Y|X) 達(dá)到最大值（換言之咏雌，就是利用已知的樣本分布凡怎，找到最有可能（即最大概率）導(dǎo)致這種分布的參數(shù)值校焦；或者說(shuō)什么樣的參數(shù)才能使我們觀測(cè)到目前這組數(shù)據(jù)的概率最大）。因?yàn)閘og函數(shù)是單調(diào)遞增的统倒，所以logP(Y|X)logP(Y|X) 也會(huì)達(dá)到最大值斟湃，因此在前面加上負(fù)號(hào)之后，最大化P(Y|X)P(Y|X) 就等價(jià)于最小化LL 了檐薯。
邏輯回歸的P(Y=y|x)P(Y=y|x) 表達(dá)式如下（為了將類別標(biāo)簽y統(tǒng)一為11 和00 ）：
其中
hθ(x)=11+exp(?f(x))
hθ(x)=11+exp?(?f(x))
2.3 Squared Loss
最小二乘法是線性回歸的一種凝赛，OLS將問(wèn)題轉(zhuǎn)化成了一個(gè)凸優(yōu)化問(wèn)題。在線性回歸中坛缕，它假設(shè)樣本和噪聲都服從高斯分布（中心極限定理）墓猎，最后通過(guò)極大似然估計(jì)（MLE）可以推導(dǎo)出最小二乘式子。最小二乘的基本原則是：最優(yōu)擬合直線應(yīng)該是使各點(diǎn)到回歸直線的距離和最小的直線赚楚，即平方和最小毙沾。
平方損失（Square loss）的標(biāo)準(zhǔn)形式如下：
L(Y,f(X))=(Y?f(X))2
L(Y,f(X))=(Y?f(X))2
當(dāng)樣本個(gè)數(shù)為nn時(shí)，此時(shí)的損失函數(shù)為：
L(Y,f(X))=∑i=1n(Y?f(X))2
L(Y,f(X))=∑i=1n(Y?f(X))2
Y?f(X)?Y?f(X)? 表示殘差宠页，整個(gè)式子表示的是殘差平方和 左胞，我們的目標(biāo)就是最小化這個(gè)目標(biāo)函數(shù)值，即最小化殘差的平方和举户。
在實(shí)際應(yīng)用中烤宙，我們使用均方差（MSE）作為一項(xiàng)衡量指標(biāo)，公式如下：
MSE=1n∑i=1n(Yi~?Yi)2
MSE=1n∑i=1n(Yi~?Yi)2
2.4 Exponentially Loss
損失函數(shù)的標(biāo)準(zhǔn)形式是：
L(Y,f(X))=exp[?Yf(X)]
L(Y,f(X))=exp?[?Yf(X)]
exp-loss俭嘁，主要應(yīng)用于 Boosting 算法中躺枕，在Adaboost 算法中，經(jīng)過(guò) mm 次迭代后供填，可以得到 fm(x)fm(x) ：
fm(x)=fm?1(x)+αmGm(x)
fm(x)=fm?1(x)+αmGm(x)
Adaboost 每次迭代時(shí)的目的都是找到最小化下列式子的參數(shù)αα 和GG：
argminα,G=∑i=1Nexp[?yi(fm?1(xi)+αG(xi))]
arg?minα,G=∑i=1Nexp?[?yi(fm?1(xi)+αG(xi))]
易知拐云，Adabooost 的目標(biāo)式子就是指數(shù)損失，在給定nn個(gè)樣本的情況下，Adaboost 的損失函數(shù)為：
L(Y,f(X))=12∑i=1nexp[?yif(xI)]
L(Y,f(X))=12∑i=1nexp?[?yif(xI)]
關(guān)于Adaboost的詳細(xì)推導(dǎo)介紹，可以參考Wikipedia：AdaBoost或者李航《統(tǒng)計(jì)學(xué)習(xí)方法》P145逻卖。
2.5 其他損失
0-1 損失函數(shù)
L(Y,f(X))={01ifY≠f(X)ifY=f(X)
L(Y,f(X))={0ifY≠f(X)1ifY=f(X)
絕對(duì)值損失函數(shù)
L(Y,f(X))=|Y?f(X)|
L(Y,f(X))=|Y?f(X)|
上述幾種損失函數(shù)比較的可視化圖像如下：
3. Hinge loss 與 Softmax loss
SVM和Softmax分類器是最常用的兩個(gè)分類器。
SVM將輸出 f(xi,W)f(xi,W) 作為每個(gè)分類的評(píng)分(沒(méi)有規(guī)定的標(biāo)準(zhǔn),難以直接解釋)薇缅；
與SVM 不同，Softmax 分類器可以理解為邏輯回歸分類器面對(duì)多個(gè)分類的一般話歸納晌端，其輸出(歸一化的分類概率)更加直觀,且可以從概率上解釋捅暴。
在Softmax分類器中, 函數(shù)映射f(xi,W)f(xi,W) 保持不變,但將這些評(píng)分值看做每個(gè)分類未歸一化的對(duì)數(shù)概率,且將折葉損失替換為交叉熵?fù)p失(cross-entropy loss),公式如下:
Li=?log(efyi∑jefj)
Li=?log?(efyi∑jefj)
或等價(jià)的
Li=?fyi+log∑jfj
Li=?fyi+log?∑jfj
fjfj 表示分類評(píng)分向量ff 中的第ii 個(gè)元素,和SVM一樣,整個(gè)數(shù)據(jù)集的損失值是數(shù)據(jù)集中所有樣本數(shù)據(jù)的損失值Li的均值和正則化損失之和。
概率論解釋:
P(yi|xi,W)=efyi∑jefj
P(yi|xi,W)=efyi∑jefj
解釋為給定數(shù)據(jù)xixi 咧纠， WW 參數(shù),分配給正確分類標(biāo)簽yiyi 的歸一化概率蓬痒。
實(shí)際操作注意事項(xiàng)——數(shù)值穩(wěn)定: 編程實(shí)現(xiàn)softmax函數(shù)計(jì)算的時(shí)候,中間項(xiàng)efyiefyi 和 ∑jefj∑jefj 因?yàn)榇嬖谥笖?shù)函數(shù),所以數(shù)值可能非常大,除以大數(shù)值可能導(dǎo)致數(shù)值計(jì)算的不穩(wěn)定,所以得學(xué)會(huì)歸一化技巧.若在公式的分子和分母同時(shí)乘以一個(gè)常數(shù)CC ，并把它變換到求和之中,就能得到一個(gè)等價(jià)公式:
P(yi|xi,W)=CefyiC∑jefj=efyi+logC∑jefj+logC
P(yi|xi,W)=CefyiC∑jefj=efyi+log?C∑jefj+log?C
C的值可自由選擇,不會(huì)影響計(jì)算結(jié)果,通過(guò)這個(gè)技巧可以提高計(jì)算中的數(shù)值穩(wěn)定性.通常將C設(shè)為:
logC=?maxfj
log?C=?maxfj
該技巧就是將向量f中的數(shù)值進(jìn)行平移,使得最大值為0漆羔。
準(zhǔn)確地說(shuō)梧奢，SVM分類器使用的是鉸鏈損失（hinge loss）狱掂，有時(shí)候又被稱為最大邊界損失（max-margin loss）。Softmax分類器使用的是交叉熵?fù)p失（corss-entropy loss）亲轨。Softmax分類器的命名是從softmax函數(shù)那里得來(lái)的趋惨，softmax函數(shù)將原始分類評(píng)分變成正的歸一化數(shù)值，所有數(shù)值和為1惦蚊，這樣處理后交叉熵?fù)p失才能應(yīng)用器虾。
Example：圖像識(shí)別
針對(duì)給出的圖像，SVM分類器可能給你的是一個(gè)[?2.85,0.86,0.28][?2.85,0.86,0.28] 對(duì)應(yīng)分類“貓”蹦锋，“狗”兆沙，“船”，而softmax分類器可以計(jì)算出這三個(gè)標(biāo)簽的”可能性“是[0.,0160.631,0.353][0.,0160.631,0.353] 莉掂，這就讓你能看出對(duì)于不同分類準(zhǔn)確性的把握葛圃。
這里Hinge Loss計(jì)算公式為：
Li=∑j≠yimax(0,f(xi,W)j?f(xi,W))yi+Δ
Li=∑j≠yimax(0,f(xi,W)j?f(xi,W))yi+Δ
這里 ΔΔ 是一個(gè)閾值，表示即使誤分類憎妙，但是沒(méi)有達(dá)到閾值库正，也不存在損失 。上面的公式把錯(cuò)誤類別 (j≠yi)(j≠yi) 都遍歷一遍厘唾，求值加和褥符。
設(shè) xixi 的正確類別是”船”，閾值 Δ=1Δ=1 阅嘶，則對(duì)應(yīng)的Hinge loss 為：
Li=max(0,?2.85?0.28+1)+max(0,0.86?0.28+1)=1.58
Li=max(0,?2.85?0.28+1)+max(0,0.86?0.28+1)=1.58
下圖是對(duì)ΔΔ 的理解属瓣，藍(lán)色表示正確的類別，ΔΔ 表示一個(gè)安全范圍讯柔，就算是有其他的得分，只要沒(méi)有到達(dá)紅色的ΔΔ 范圍內(nèi),护昧，對(duì)損失函數(shù)都沒(méi)有影響魂迄。這就保證了SVM 算法的解的稀疏性。
而Softmax 損失則是對(duì)向量 fyifyi 指數(shù)正規(guī)化得到概率惋耙，再求對(duì)數(shù)即可捣炬。
Li=?log(efyi∑jefj)=?log(0.353)≈1.04
Li=?log?(efyi∑jefj)=?log?(0.353)≈1.04
4.總結(jié)
機(jī)器學(xué)習(xí)作為一種優(yōu)化方法，學(xué)習(xí)目標(biāo)就是找到優(yōu)化的目標(biāo)函數(shù)——損失函數(shù)和正則項(xiàng)的組合绽榛；有了目標(biāo)函數(shù)的“正確的打開方式”湿酸，才能通過(guò)合適的機(jī)器學(xué)習(xí)算法求解優(yōu)化。
不同機(jī)器學(xué)習(xí)方法的損失函數(shù)有差異灭美，合理理解各種損失優(yōu)化函數(shù)的的特點(diǎn)更有利于我們對(duì)相關(guān)算法的理解推溃。
---------------------
作者：Vinicier
來(lái)源：CSDN
原文：https://blog.csdn.net/u010976453/article/details/78488279
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請(qǐng)附上博文鏈接届腐！
