損失函數(shù)與評(píng)價(jià)指標(biāo)之間的關(guān)系

1 PointWise Loss

輸入：?jiǎn)蝹€(gè)文檔 ， 文檔是否和query匹配嘹屯。

輸出：分?jǐn)?shù)/分類

應(yīng)用：Subset Ranking勾习、 OC SVM耸袜、 McRank掩完、Prank

損失函數(shù)：回歸Loss癞志、分類Loss驻啤、有序回歸Loss蝌矛。

優(yōu)缺點(diǎn)
Pointwise算法實(shí)現(xiàn)簡(jiǎn)單道批，易于理解，但是它只對(duì)給定Query單個(gè)文檔的相關(guān)度進(jìn)行建模入撒，僅僅考慮了單個(gè)文檔的相關(guān)度隆豹，Pointwise值學(xué)習(xí)到文檔和 Query 的全局相關(guān)性，對(duì)排序先后順序有一定的影響茅逮。在某一些場(chǎng)景下璃赡，排在最前面的幾個(gè)文檔對(duì)排序結(jié)果的影響非常重要，如搜索引擎的第一頁的內(nèi)容非常重要献雅，而 Pointwise 沒有考慮這方面的影響碉考，不對(duì)排序的先后順序優(yōu)劣做懲罰。

image-20210602160453562

1.1 Regression Loss

1.1.1 Mean Square Error / Quadratic Loss

也稱L2損失函數(shù)挺身，求預(yù)測(cè)值與真實(shí)值之間距離的平方和

img

下圖是MSE函數(shù)的圖像豆励，其中目標(biāo)值是100，預(yù)測(cè)值的范圍從-10000到10000瞒渠，Y軸代表的MSE取值范圍是從0到正無窮良蒸，并且在預(yù)測(cè)值為100處達(dá)到最小。

img

1.1.2 Mean Absolute Error

平均絕對(duì)值誤差 MAE伍玖，也稱為L1損失嫩痰，MAE是目標(biāo)值和預(yù)測(cè)值之差的絕對(duì)值之和。

img

其只衡量了預(yù)測(cè)值誤差的平均模長窍箍，而不考慮方向串纺，取值范圍也是從0到正無窮（如果考慮方向，則是殘差/誤差的總和——平均偏差（MBE））椰棘。

img

下面讓我們觀察MAE和RMSE（即MSE的平方根纺棺，同MAE在同一量級(jí)中）在兩個(gè)例子中的計(jì)算結(jié)果。第一個(gè)例子中邪狞，預(yù)測(cè)值和真實(shí)值很接近祷蝌，而且誤差的方差也較小。第二個(gè)例子中帆卓，因?yàn)榇嬖谝粋€(gè)異常點(diǎn)巨朦，而導(dǎo)致誤差非常大。

img

對(duì)于使用MAE計(jì)算損失剑令，使用MSE的模型會(huì)賦予異常點(diǎn)更大的權(quán)重糊啡。在第二個(gè)例子中，用MSE計(jì)算損失的模型會(huì)以犧牲了其他樣本的誤差為代價(jià)吁津，朝著減小異常點(diǎn)誤差的方向更新棚蓄。然而這就會(huì)降低模型的整體性能。

如果訓(xùn)練數(shù)據(jù)被異常點(diǎn)所污染，那么MAE損失就更好用（比如梭依，在訓(xùn)練數(shù)據(jù)中存在大量錯(cuò)誤的反例和正例標(biāo)記挣柬，但是在測(cè)試集中沒有這個(gè)問題）。

直觀上可以這樣理解：如果我們最小化MSE來對(duì)所有的樣本點(diǎn)只給出一個(gè)預(yù)測(cè)值睛挚，那么這個(gè)值一定是所有目標(biāo)值的平均值邪蛔。但如果是最小化MAE，那么這個(gè)值扎狱，則會(huì)是所有樣本點(diǎn)目標(biāo)值的中位數(shù)侧到。眾所周知，對(duì)異常值而言淤击，中位數(shù)比均值更加魯棒匠抗，因此MAE對(duì)于異常值也比MSE更穩(wěn)定。

然而MAE存在一個(gè)嚴(yán)重的問題（特別是對(duì)于神經(jīng)網(wǎng)絡(luò)）：更新的梯度始終相同污抬，也就是說汞贸，即使對(duì)于很小的損失值，梯度也很大印机。為了解決這個(gè)缺陷矢腻，我們可以使用變化的學(xué)習(xí)率，在損失接近最小值時(shí)降低學(xué)習(xí)率射赛。

而MSE在這種情況下的表現(xiàn)就很好多柑，即便使用固定的學(xué)習(xí)率也可以有效收斂。MSE損失的梯度隨損失增大而增大楣责，而損失趨于0時(shí)則會(huì)減小竣灌。這使得在訓(xùn)練結(jié)束時(shí)，使用MSE模型的結(jié)果會(huì)更精確秆麸。

img

如果異常點(diǎn)代表在商業(yè)中很重要的異常情況初嘹，并且需要被檢測(cè)出來，則應(yīng)選用MSE損失函數(shù)沮趣。相反屯烦，如果只把異常值當(dāng)作受損數(shù)據(jù)，則應(yīng)選用MAE損失函數(shù)兔毒。

1.1.3 Huber Loss / Smooth Mean Absolute Error

總而言之漫贞，處理異常點(diǎn)時(shí)，L1損失函數(shù)更穩(wěn)定育叁，但它的導(dǎo)數(shù)不連續(xù)，因此求解效率較低芍殖。L2損失函數(shù)對(duì)異常點(diǎn)更敏感豪嗽，但通過令其導(dǎo)數(shù)為0，可以得到更穩(wěn)定的封閉解。

二者兼有的問題是：在某些情況下龟梦，上述兩種損失函數(shù)都不能滿足需求隐锭。例如，若數(shù)據(jù)中90%的樣本對(duì)應(yīng)的目標(biāo)值為150计贰，剩下10%在0到30之間钦睡。那么使用MAE作為損失函數(shù)的模型可能會(huì)忽視10%的異常點(diǎn)，而對(duì)所有樣本的預(yù)測(cè)值都為150躁倒。

這是因?yàn)槟Ｐ蜁?huì)按中位數(shù)來預(yù)測(cè)荞怒。而使用MSE的模型則會(huì)給出很多介于0到30的預(yù)測(cè)值，因?yàn)槟Ｐ蜁?huì)向異常點(diǎn)偏移秧秉。上述兩種結(jié)果在許多商業(yè)場(chǎng)景中都是不可取的褐桌。

這些情況下應(yīng)該怎么辦呢？最簡(jiǎn)單的辦法是對(duì)目標(biāo)變量進(jìn)行變換象迎。而另一種辦法則是換一個(gè)損失函數(shù)荧嵌，這就引出了下面要講的第三種損失函數(shù)，即Huber損失函數(shù)砾淌。

Huber損失對(duì)數(shù)據(jù)中的異常點(diǎn)沒有平方誤差損失那么敏感啦撮。它在0也可微分。本質(zhì)上汪厨，Huber損失是絕對(duì)誤差逻族，只是在誤差很小時(shí)，就變?yōu)槠椒秸`差骄崩。誤差降到多小時(shí)變?yōu)槎握`差由超參數(shù)δ（delta）來控制聘鳞。當(dāng)Huber損失在[0-δ,0+δ]之間時(shí)，等價(jià)為MSE要拂，而在[-∞,δ]和[δ,+∞]時(shí)為MAE抠璃。

img

img

它會(huì)由于梯度的減小而落在最小值附近。比起MSE脱惰，它對(duì)異常點(diǎn)更加魯棒搏嗡。因此，Huber損失結(jié)合了MSE和MAE的優(yōu)點(diǎn)拉一。但是采盒，Huber損失的問題是我們可能需要不斷調(diào)整超參數(shù)delta。

1.1.4 Log cosh Loss

Log-cosh是另一種應(yīng)用于回歸問題中的蔚润，且比L2更平滑的的損失函數(shù)磅氨。它的計(jì)算方式是預(yù)測(cè)誤差的雙曲余弦的對(duì)數(shù)。

img

優(yōu)點(diǎn)：對(duì)于較小的x嫡纠，log(cosh(x))近似等于(x^2)/2烦租，對(duì)于較大的x延赌，近似等于abs(x)-log(2)。這意味著‘logcosh’基本類似于均方誤差叉橱，但不易受到異常點(diǎn)的影響挫以。它具有Huber損失所有的優(yōu)點(diǎn)，但不同于Huber損失的是窃祝，Log-cosh二階處處可微掐松。

為什么需要二階導(dǎo)數(shù)？許多機(jī)器學(xué)習(xí)模型如XGBoost粪小，就是采用牛頓法來尋找最優(yōu)點(diǎn)大磺。而牛頓法就需要求解二階導(dǎo)數(shù)（Hessian）。因此對(duì)于諸如XGBoost這類機(jī)器學(xué)習(xí)框架糕再，損失函數(shù)的二階可微是很有必要的量没。

1.1.5 Quantile Loss

如何選取合適的分位值取決于我們對(duì)正誤差和反誤差的重視程度。損失函數(shù)通過分位值（γ）對(duì)高估和低估給予不同的懲罰突想。例如殴蹄，當(dāng)分位數(shù)損失函數(shù)γ=0.25時(shí)，對(duì)高估的懲罰更大猾担，使得預(yù)測(cè)值略低于中值袭灯。

img

γ是所需的分位數(shù)，其值介于0和1之間绑嘹。

img

1.2 Classification Loss

1.2.1 Log Loss

從極大似然的角度出發(fā)稽荧，我們希望極大化如下似然函數(shù)：

[圖片上傳失敗...(image-aaaad9-1629883070126)]%3Dlog+%2C+\prod_{i%3D1}^{n%2C+p_{y_i}(x_i%3B\theta)%3D\sum_{i%3D1}}{n}log+%2C+p_{y_i}(x_i%3B\theta))

其中 [圖片上傳失敗...(image-8986f9-1629883070126)] 。當(dāng)y=1時(shí)工腋， [圖片上傳失敗...(image-91e3e-1629883070126)] ;當(dāng)y=0時(shí)姨丈， [圖片上傳失敗...(image-4b4ad5-1629883070126)]。于是擅腰，

[圖片上傳失敗...(image-87a2b3-1629883070126)]

最大化(1)等價(jià)于極小化下式

[圖片上傳失敗...(image-7e332f-1629883070126)]

(2)被稱為負(fù)對(duì)數(shù)似然損失蟋恬。

邏輯回歸也是log loss

(1) log對(duì)數(shù)損失函數(shù)能非常好的表征概率分布，在很多場(chǎng)景尤其是多分類趁冈，如果需要知道結(jié)果屬于每個(gè)類別的置信度歼争，那它非常適合。

(2)健壯性不強(qiáng)渗勘，相比于hinge loss對(duì)噪聲更敏感沐绒。

(3)邏輯回歸的損失函數(shù)就是log對(duì)數(shù)損失函數(shù)。

1.2.2 Focal Loss

Focal Loss for Dense Object Detection

ICCV2017 RBG和Kaiming大神的新作旺坠。

本質(zhì)上講乔遮，F(xiàn)ocal Loss 就是一個(gè)解決分類問題中類別不平衡、分類難度差異的一個(gè) loss价淌。

1.2.3 KL Divergence / Relative Entropy

KL距離常用來度量?jī)蓚€(gè)分布之間的距離申眼，其具有如下形式

[圖片上傳失敗...(image-19d05d-1629883070126)]

其中p是真實(shí)分布瞒津，q是擬合分布蝉衣，H(p)是p的熵括尸，為常數(shù)。因此 [圖片上傳失敗...(image-24710c-1629883070126)] 度量了p和q之間的距離病毡，叫做交叉熵?fù)p失濒翻。

在二分類問題中，數(shù)據(jù)的真實(shí)分布為 [圖片上傳失敗...(image-29fc22-1629883070126)] ,預(yù)測(cè)分布為 [圖片上傳失敗...(image-d726f1-1629883070126)] 啦膜，因此交叉熵?fù)p失為

[圖片上傳失敗...(image-28c393-1629883070126)]

正好和(2)是同一個(gè)損失有送。

1.2.4 Exponential Loss

設(shè) [圖片上傳失敗...(image-4f946f-1629883070126)] ,模型為 [圖片上傳失敗...(image-44ea52-1629883070126)] ,指數(shù)損失為

[圖片上傳失敗...(image-f9c27f-1629883070126)]

忽略模型的具體形式，在指數(shù)損失下僧家，我們的優(yōu)化目標(biāo)為

[圖片上傳失敗...(image-e1b824-1629883070126)]

最優(yōu)解為

[圖片上傳失敗...(image-b200d5-1629883070126)]

[圖片上傳失敗...(image-711810-1629883070126)] 估計(jì)的是對(duì)數(shù)幾率的一半雀摘。當(dāng) [圖片上傳失敗...(image-994e8c-1629883070126)] 時(shí)， [圖片上傳失敗...(image-f280e6-1629883070126)] 的符號(hào)為正八拱，反之為負(fù)阵赠。于是 [圖片上傳失敗...(image-8a1d33-1629883070126)] 作為預(yù)測(cè)值可達(dá)貝葉斯最優(yōu)。這說明了指數(shù)函數(shù)作為損失函數(shù)的合理性肌稻。當(dāng) [圖片上傳失敗...(image-ee940b-1629883070126)] 為線性函數(shù)時(shí)清蚀，這就是邏輯斯蒂回歸。

adaboost使用exponential loss爹谭，對(duì)離群點(diǎn)枷邪、噪聲非常敏感。

1.2.5 Hinge Loss

(1)hinge損失函數(shù)表示如果被分類正確诺凡，損失為0东揣，否則損失就為 [圖片上傳失敗...(image-9b09a1-1629883070126)] 。SVM就是使用這個(gè)損失函數(shù)腹泌。

(2)hinge loss是凸函數(shù)

(3)hinge loss對(duì)噪聲不敏感嘶卧，只線性地懲罰分錯(cuò)的數(shù)據(jù)數(shù)目。一般的 [圖片上傳失敗...(image-f80263-1629883070126)] 是預(yù)測(cè)值真屯，在-1到1之間脸候， [圖片上傳失敗...(image-2272b0-1629883070126)] 是目標(biāo)值(-1或1)。其含義是绑蔫， [圖片上傳失敗...(image-d982f2-1629883070126)] 的值在-1和+1之間就可以了运沦，并不鼓勵(lì) [圖片上傳失敗...(image-aaf5bc-1629883070126)] ，即并不鼓勵(lì)分類器過度自信配深，讓某個(gè)正確分類的樣本距離分割線超過1并不會(huì)有任何獎(jiǎng)勵(lì)携添，從而使分類器可以更專注于整體的誤差。

(4)hinge loss不可導(dǎo)篓叶，不能用SGD等方法來優(yōu)化烈掠。這種情況可以用交叉熵羞秤，為凸函數(shù)，同時(shí)可導(dǎo)左敌，可以用SGD瘾蛋。

2 PairWise Loss

輸入： - 文檔對(duì)

輸出： 優(yōu)先級(jí)是否比 高

應(yīng)用：Ranking SVM、RankBoost矫限、RankNet哺哼、GBRank、IR SVM 等

損失函數(shù)：Pairwise 分類 Loss叼风。

優(yōu)缺點(diǎn)
Pairwise 方法通過考慮兩兩文檔之間的相關(guān)度來進(jìn)行排序取董，有一定進(jìn)步。但 Pairwise 使用的是兩文檔之間相關(guān)相關(guān)度的損失函數(shù)无宿，而它和真正衡量排序效果的指標(biāo)之間存在很大不同茵汰，甚至可能是負(fù)相關(guān)的，如可能出現(xiàn) Pairwise Loss 越來越低孽鸡，但 NDCG 分?jǐn)?shù)也越來越低的現(xiàn)象蹂午。另外此方法只考慮了兩個(gè)文檔的先后順序，且沒有考慮文檔在搜索列表中出現(xiàn)的位置梭灿，導(dǎo)致最終排序效果并不理想画侣。

2.1 Hinge Loss

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr546y1t34j310f0u0afg.jpg" alt="image-20210602152649553" style="zoom:50%;" />

示例：該損失函數(shù)在Ranking SVM中使用。

2.2 Cross Entropy

交叉熵描述了兩個(gè)概率分布之間的距離堡妒，當(dāng)交叉熵越小說明二者之間越接近配乱。

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr5474zakwj30e403s0ss.jpg" alt="image-20210602152819983" style="zoom:50%;" />

其中 是預(yù)測(cè)結(jié)果， 是ground truth皮迟。

示例：在RankNet中使用搬泥。

2.3 Fidelity Loss

交叉熵?fù)p失函數(shù)中，f(x_u)-f(x_v) 總是比1大伏尼，損失沒有最小值忿檩，會(huì)在學(xué)習(xí)過程中導(dǎo)致一些困難，為了解決這個(gè)問題爆阶，用了fidelity loss燥透。

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr5473qr8rj30ro0463yn.jpg" alt="image-20210602152227909" style="zoom:50%;" />

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr5471vxazj312o0r2qg8.jpg" alt="image-20210602152302637" style="zoom:50%;" />

<img src="損失函數(shù).assets/image-20210602152435753.png" alt="image-20210602152435753" style="zoom:50%;" />

示例：該損失函數(shù)在FRank中使用。

2.4 Log Loss

Rankboost 使用adaboost的對(duì)pairs進(jìn)行分類辨图。adaboost 使用對(duì)數(shù)損失函數(shù)班套，對(duì)弱分類器的疊加得到強(qiáng)分類器。

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr547a7xs7j31100u0q7s.jpg" alt="image-20210602152630085" style="zoom:50%;" />

示例：該損失函數(shù)在RankBoost中使用故河。

2.5 Top1 Loss

這是一種啟發(fā)式的組合損失函數(shù)吱韭，由兩個(gè)部分組成：第一部分旨在將目標(biāo)分?jǐn)?shù)提升到樣本分?jǐn)?shù)以上，而第二部分則將負(fù)樣本的分?jǐn)?shù)降低到零鱼的。第二部分其實(shí)就是一個(gè)正則項(xiàng)理盆，但是并沒有直接約束權(quán)重痘煤，它懲罰了負(fù)樣本的得分。因?yàn)樗械奈锲范加锌赡茏鳛槟骋粋€(gè)用戶的負(fù)樣本猿规。具體公式如下:

<img src="https://tva1.sinaimg.cn/large/008i3skNgy1gr547d2x87j30k006amy6.jpg" alt="image-20210602144944055" style="zoom:50%;" />

這里j對(duì)應(yīng)負(fù)樣本（未觀測(cè)到的）衷快，i對(duì)應(yīng)正樣本

2.6 BPR Loss

基于Bayesian Personalized Ranking。BPR Loss 的思想很簡(jiǎn)單坎拐，就是讓正樣本和負(fù)樣本的得分之差盡可能達(dá)到最大烦磁。具體公式如下：

在這里插入圖片描述

3 ListWise Loss

輸入：文檔集合

輸出：文檔的排序

應(yīng)用： ListNet养匈、ListMLE哼勇、SVM MAP、AdaRank呕乎、SoftRank积担、LambdaRank、LambdaMART猬仁。其中LambdaMART（對(duì)RankNet和 LambdaRank的改進(jìn)）在Yahoo Learning to Rank Challenge表現(xiàn)出最好的性能帝璧。

損失函數(shù)：評(píng)價(jià)指標(biāo)如 NDCG、MAP 等湿刽。這里可以詳細(xì)看我的空間里 [召回系統(tǒng)-評(píng)價(jià)指標(biāo)] 一文的烁。

優(yōu)缺點(diǎn)
由于此種方法是針對(duì)評(píng)價(jià)指標(biāo)直接進(jìn)行優(yōu)化，所以它往往表現(xiàn)出不錯(cuò)的效果诈闺。

Reference

https://www.jiqizhixin.com/articles/2018-06-21-3

http://www.l3s.de/~anand/tir15/lectures/ws15-tir-l2r.pdf

http://super1peng.xyz/2018/08/24/Learning-To-Rank/

https://www.cl.cam.ac.uk/teaching/1516/R222/l2r-overview.pdf

機(jī)器學(xué)習(xí)大牛最常用的5個(gè)回歸損失函數(shù)渴庆，你知道幾個(gè)？

損失函數(shù)代碼實(shí)踐

https://zhuanlan.zhihu.com/p/74073096