詳解機器學(xué)習(xí)中的損失函數(shù)

Class	Content
layout	Blog
title	詳解機器學(xué)習(xí)中的損失函數(shù)
categories	Blog
description	機器學(xué)習(xí)中常見的損失函數(shù)以及它們的特點和適用場景
keywords	機器學(xué)習(xí) 損失函數(shù) 風(fēng)險函數(shù)

1. 前言

我們知道機器學(xué)習(xí)的三要素是:方法= 模型+策略+算法, 如何從假設(shè)空間中選擇最優(yōu)模型,這涉及到我們需要用什么樣的準(zhǔn)則進行學(xué)習(xí),這就是三要素中的"策略"問題。

在假設(shè)空間中選擇模型 $y(x_n,w)$ 作為決策函數(shù),給定輸入 $x_n$ ,由模型得到輸出 $y(x_n,w)$ ,而預(yù)測的 $y(x_n,w)$ 與真實值 $t_n$ 之間可能不一致,如圖1-1 可以看出預(yù)測值 $y(x_n,w)$ 與真實值 $t_n$ 存在不一致情況,他們之間的差的絕對值為 $|y(x_n,w)-t_n|$ 為綠色線部分, 而損失函數(shù)是定義在單個樣本上的，算的是一個樣本的誤差。因此選用損失函數(shù)來度量預(yù)測誤差三妈。

1-1 預(yù)測值與真實值的誤差

損失函數(shù)（loss function）是用來度量模型的預(yù)測值與真實值的不一致程度，是一個非負(fù)實值函數(shù),損失函數(shù)越小阔籽，預(yù)測正確程度越高吱肌，表示為： $L(y_i,f(x_i))$

損失函數(shù)是經(jīng)驗風(fēng)險函數(shù)的核心部分，也是結(jié)構(gòu)風(fēng)險函數(shù)重要組成部分卷拘。模型的結(jié)構(gòu)風(fēng)險函數(shù)包括了經(jīng)驗風(fēng)險項和正則項喊废，可以表示為： $R_{srm}(f)= \frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))+\lambda J (f)$
這個公式為結(jié)構(gòu)風(fēng)險函數(shù),其中,包括前一部分的經(jīng)驗風(fēng)險項以及后一部分的正則化項,正則化項用于控制模型復(fù)雜度, $\lambda$ 則是用于權(quán)衡經(jīng)驗風(fēng)險和模型復(fù)雜度之間的關(guān)系.
所以,通過最小化結(jié)構(gòu)風(fēng)險的策略找到最優(yōu)模型,求解最優(yōu)模型就是求解如下最優(yōu)化問題： $min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))+\lambda J(f)$
當(dāng)然,除了讓結(jié)構(gòu)風(fēng)險最小化尋找最優(yōu)模型外,還可以直接最小化經(jīng)驗風(fēng)險,即
$min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))$
在樣本足夠的情況下,經(jīng)驗風(fēng)險最小化可以達到很好的學(xué)習(xí)效果,但是樣本容量有限時,容易產(chǎn)生過擬合現(xiàn)象,所以在才有上面結(jié)構(gòu)風(fēng)險最小化求最優(yōu)模型的策略.

2. 區(qū)別損失函數(shù)\ 風(fēng)險函數(shù)\ 代價函數(shù)\ 目標(biāo)函數(shù)

損失函數(shù)：衡量單個樣本預(yù)測值與真實值的誤差【不贅述】.
代價函數(shù)：定義在訓(xùn)練集上，是模型關(guān)于訓(xùn)練集的平均損失栗弟，它也叫經(jīng)驗風(fēng)險污筷，表示為： $\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))$
風(fēng)險函數(shù)：是指損失函數(shù)的期望,又叫期望損失，由于輸入 $X$ 和輸出 $Y$ 是隨機變量乍赫，那么可求得聯(lián)合分布 $P(X,Y)$ 瓣蛀，所以可以表示為： $R_{exp}(f)=E_p[L(Y,f(X))] = \int_{X,Y}L(y,f(x))p(x,y)dxdy$
目標(biāo)函數(shù)：是一個更為廣的概念，比如最小化結(jié)構(gòu)風(fēng)險求最優(yōu)模型時雷厂，結(jié)構(gòu)化風(fēng)險函數(shù)就是目標(biāo)函數(shù)揪惦，而最小化經(jīng)驗風(fēng)險求最優(yōu)模型時，經(jīng)驗風(fēng)險函數(shù)就是目標(biāo)函數(shù)罗侯，簡單地講器腋，目標(biāo)函數(shù)就是需要優(yōu)化的函數(shù)。

Note：

a.通常钩杰，我們沒有細(xì)分損失函數(shù)和代價函數(shù)纫塌，經(jīng)常將兩個概念混用。
b.由于 $P(Y,X)$ 未知讲弄，所以風(fēng)險函數(shù)無法計算措左，經(jīng)驗風(fēng)險 $R_{emp}(f)$ 是模型關(guān)于訓(xùn)練集的平均損失，根據(jù)大數(shù)定律避除，當(dāng)樣本容量 $N$ 趨于無窮時怎披，經(jīng)驗風(fēng)險 $R_{emp}(f)$ 趨于風(fēng)險函數(shù) $R_{exp}(f)$ ，這也說明了訓(xùn)練集容量越大瓶摆，選擇的最優(yōu)模型越逼近真實模型凉逛。

3. 常見的損失函數(shù)

(1) 0-1損失函數(shù)(Zero-one Loss)
$L(y_i,f(x_i))=\left\{ \begin{aligned} 1 \text{, $y_i \neq f(x_i)$}\\ 0 \text{, $y_i = f(x_i)$} \end{aligned} \right.$
0-1 損失函數(shù)簡單易理解，用于分類群井，如果預(yù)測的標(biāo)簽和數(shù)據(jù)標(biāo)注的標(biāo)簽一致状飞，那么就為0，否則就為1，當(dāng)然, 如果認(rèn)為相等的要求太嚴(yán)苛诬辈，可以放寬要求酵使，用于回歸中，如果他們的絕對值小于某個閾值焙糟，即為0口渔，否則為1，表示為
$L(y_i,f(x_i))=\left\{ \begin{aligned} 1 \text{, $|y_i-f(x_i)| \geq t$}\\ 0 \text{,$|y_i-f(x_i)| < t$} \end{aligned} \right.$
(2) 平方損失函數(shù)(Square Loss)
$L(y_i,f(x_i))=(y_i-f(x_i))^2$
由于其計算的優(yōu)越性穿撮，所以常常用于回歸中, 權(quán)重由可以直接初始化搓劫，再通過梯度下降不斷更新。
舉例說明混巧，一個線性回歸，假設(shè)輸入有 $n$ 個特征勤揩，為了方便表示用 $n+1$ 表示輸入向量為 $x=[0,x_1,x_2,...,x_n]^T$ 咧党，模型參數(shù)為 $w=[w_0,w_1,...,w_n]^T$ ，那么線性回歸的模型表示為 $f(x)=w_0+w_1x_1+,...,w_nx_n=w^Tx$
那么它的代價函數(shù)可以表示為 $L(w,x)=\frac{1}{2N}\sum_{i=1}^N(y^{(i)}-w^Tx^{(i)})+\frac{\lambda}{2}||w||^2$
注意：在這里都使用 $\frac{1}{2}$ 的目的是方便在后續(xù)求導(dǎo)中計算陨亡， $\lambda$ 是正則項前面的參數(shù)傍衡。
對 $w_i$ 求導(dǎo)：
$\frac{dL(w,x)}{dw_i} = \frac{1}{N}\sum_{i=1}^N(y_i-w^Tx)x_i+\lambda w_i$
由于這是目標(biāo)函數(shù)是一個有最小值的凸函數(shù)，所以是沿著梯度的反方向進行更新负蠕，表示為 $w_i = w_i -\eta\frac{dL(w,x)}{dw_i}$
注：權(quán)重矩陣 $w$ 最開始可以隨機初始蛙埂，再不斷更新.
(3) 絕對損失函數(shù)(Absolute loss)
$L(y_i,f(x_i))=|(y_i-f(x_i))|$
絕對值損失函數(shù)也經(jīng)常用于回歸中,而用于分類就等價于0-1損失函數(shù)，在sklearn中有Huber損失函數(shù)遮糖，它是平方損失函數(shù)和絕對值損失函數(shù)的結(jié)合绣的，詳細(xì)介紹請參考 [F2001]，比較簡單【不再贅述】欲账。
(4) 對數(shù)損失函數(shù)(Log Loss or Cross-entropy Loss)
$L(y_i,f(x_i))=-logP(y_i|x_i)$
對數(shù)損失函數(shù)適用于邏輯回歸,那什么是邏輯回歸呢屡江？
舉例說明：其實就是在線性回歸的基礎(chǔ)上增加了邏輯函數(shù) $h(x)= \frac{1}{1+e^{-x}}$ ，那么對于在線性回歸基礎(chǔ)上加上邏輯函數(shù)赛不，則邏輯回歸模型可以表示為 $p(1|w,x^{(i)})=h(f(x^{(i)}))=\frac{1}{1+e^{-f(x^{(i)})}}=\frac{1}{1+e^{-w^Tx^{(i)}}}$
即上式表示惩嘉，給定輸入，該實例為類別1的概率踢故，由于邏輯回歸是二分類文黎，所以為類別0的概率為 $p(0|w,x^{(i)})=1-p(1|w,x^{(i)})$
而在邏輯回歸中，由于提供了模型的概率估計殿较，所以使用的損失函數(shù)為對數(shù)損失函數(shù)耸峭，表示如下： $L(y^{(i)},f(x^{(i)}))=\left\{ \begin{aligned} -logp(1|w,x^{(i)}) \text{, $y^{(i)}=1$}\\ -log(1-p(w|x^{(i)})) \text{, $y^{(i)}=0$} \end{aligned} \right.$
那么最終的代價函數(shù)可以表示為
$L(w,x)=-\frac{1}{N}\sum_{i=1}^N \lbrace y^{(i)}logp(y^{(i)}=1|w,x^{(i)})+(1-y^{(i)})logp(y^{(i)}=0|w,x^{(i)})\rbrace$
接下來就從另外一個角度說明，已知邏輯回歸模型表示為： $p(1|w,x^{(i)})=h(f(x^{(i)}))=\frac{1}{1+e^{-f(x^{(i)})}}=\frac{1}{1+e^{-w^Tx^{(i)}}}$
在模型的數(shù)學(xué)形式確定后淋纲，剩下的就是如何去求解模型中的參數(shù) $w$ 抓艳，而在已知模型和一定樣本的情況下，估計模型的參數(shù)，在統(tǒng)計學(xué)中常用的是極大似然估計方法玷或。即找到一組參數(shù) $w$ 儡首，使得在這組參數(shù)下，樣本數(shù)據(jù)的似然度（概率）最大.
對于邏輯回歸模型偏友，假定概率分布服從伯努利分布【0-1分布】蔬胯，其概率質(zhì)量函數(shù)PMF為: $f(x)=p^x(1-p)^{(1-x)}$ ，其中 $x$ 只能取0或者1位他，那么似然函數(shù)可以表示:為 $L(w)=\prod_{i=1}^Np(y^{(i)}=1|w,x^{(i)})^{y^{(i)}}p(y^{(i)}=0|w,x^{(i)})^{1-y^{(i)}}$
那么對上式取對數(shù)氛濒，得到對數(shù)似然函數(shù)為:
$logL(w)=\sum_{i=1}^Ny^{(i)}logp(y^{(i)}=1|w,x^{(i)})+（1-y^{(i)})logp(y^{(i)}=0|w,x^{(i)})$
則全體樣本的代價函數(shù)為:
$logL(w)=-\sum_{i=1}^N\lbrace y^{(i)}logp(y^{(i)}=1|w,x^{(i)})+（1-y^{(i)})logp(y^{(i)}=0|w,x^{(i)})\rbrace$
由此可以看出對數(shù)損失函數(shù)與極大似然估計的對數(shù)似然函數(shù)本質(zhì)上是等價的.
(5) 絞鏈損失函數(shù)(Hinge Loss)
$L(m_i)=max(0,1-m_i(w))$
鉸鏈損失函數(shù)常用于支持向量機(SVM)中,它名字來源于它的損失函數(shù)圖像為一個折線圖像，如果模型分類正確鹅髓，損失為0舞竿，否則損失為 $1-m_i(w)$ ，在SVM損失函數(shù)表示為： $L(y^{(i)},x^{(i)})=max(0,1-y^{(i)}f(x^{(i)}))$ ,
舉例說明：在SVM中窿冯，最終的支持向量機的分類模型是能最大化分類間隔骗奖，又減少錯誤分類的樣本數(shù)目，意味著一個好的支持向量機的模型醒串，需要滿足以上兩個條件：1执桌、最大化分類間隔，2芜赌、錯誤分類的樣本數(shù)目仰挣。如圖說明， $f(x^{(i)})$ 是預(yù)測值缠沈，且預(yù)測值在-1到1之間膘壶， $y^{(i)}$ 為目標(biāo)值取值為-1或者1，如果分類正確洲愤， $L(y^{(i)},x^{(i)})=0$ 香椎，如果分類錯誤， $L(y^{(i)},x^{(i)})=1-y^{(i)}f(x^{(i)})$ 禽篱， $\xi$ 是引入的松弛變量畜伐，錯誤分類的樣本數(shù)目，就回到了損失函數(shù)的范疇躺率。

SVM分類

綜上所述推導(dǎo)SVM的代價函數(shù)玛界，最初的SVM優(yōu)化函數(shù)如下：
$\begin{eqnarray} && {argmin}_{(w,\xi_i)}\quad \frac{1}{2} \Vert w \Vert^2+C\sum_i\xi_i\\ &&s.t.\quad \forall y^{(i)}f(x^{(i)}) \geq 0 \\ && \quad\quad\quad \xi_i \geq 0 \end{eqnarray}$
將約束條件變形為 $\xi_i>1-y^{(i)}f(x^{(i)})$
最終SVM的代價函數(shù)可以表示為： $L(w,x^{(i)})=C \sum_{i=0}^{N}max(0,1-y^{(i)}f(x^{(i)}))+\frac{1}{2} \Vert w \Vert^2$
(6) 指數(shù)損失函數(shù)(Exponential loss)
$L(y_i,f(x_i)) = exp(-y_if(x_i))$ 指數(shù)損失函數(shù)，主要應(yīng)用于 Boosting 算法中
在Adaboost 算法中悼吱，經(jīng)過 $m$ 次迭代后慎框，可以得到 $f_m(x^{(i)})$ ，表示為： $f_m(x^{(i)})=f_{m?1}(x^{(i)})+α_mG_m(x^{(i)})$
Adaboost 每次迭代時的目的都是找到最小化下列式子的參數(shù) $α$ 和 $G$ ：
$argmin_{(α,G)} \quad \sum_{i=1}^{N}exp(-y^i(f_{m?1}(x^{(i)})+αG(x^{(i)})))$
易知后添，Adaboost應(yīng)用了指數(shù)損失函數(shù) $L(y^i,f(x^i))=exp(-y^if(x^i))$

總結(jié)

看了很多資料和網(wǎng)頁笨枯，結(jié)合自己的理解寫出了這一篇博客，以前只知道有這些損失函數(shù)，并沒有探討過損失函數(shù)的適用性以及該如何去推導(dǎo)這些公式馅精。繼續(xù)加油O(∩_∩)O~~
如有問題聯(lián)系dengwenjun818@gmail.com

最后編輯于：2018.08.22 15:42:17

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末严嗜，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子洲敢，更是在濱河造成了極大的恐慌漫玄，老刑警劉巖，帶你破解...
沈念sama閱讀 217,277評論 6贊 503
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件压彭，死亡現(xiàn)場離奇詭異睦优，居然都是意外死亡，警方通過查閱死者的電腦和手機壮不，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,689評論 3贊 393
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門汗盘，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人询一，你說我怎么就攤上這事隐孽。” “怎么了家凯？”我有些...
開封第一講書人閱讀 163,624評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長如失。經(jīng)常有香客問我绊诲，道長，這世上最難降的妖魔是什么褪贵？我笑而不...
開封第一講書人閱讀 58,356評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任掂之，我火速辦了婚禮，結(jié)果婚禮上脆丁，老公的妹妹穿的比我還像新娘世舰。我一直安慰自己，他們只是感情好槽卫，可當(dāng)我...
茶點故事閱讀 67,402評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布跟压。她就那樣靜靜地躺著，像睡著了一般歼培。火紅的嫁衣襯著肌膚如雪震蒋。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,292評論 1贊 301
城市分裂傳說
那天躲庄，我揣著相機與錄音查剖，去河邊找鬼。笑死噪窘，一個胖子當(dāng)著我的面吹牛笋庄，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 40,135評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼直砂，長吁一口氣：“原來是場噩夢啊……” “哼菌仁！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起哆键，我...
開封第一講書人閱讀 38,992評論 0贊 275
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤掘托，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后籍嘹，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體闪盔，經(jīng)...
沈念sama閱讀 45,429評論 1贊 314
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,636評論 3贊 334
?白月光啟示錄
正文我和宋清朗相戀三年辱士，在試婚紗的時候發(fā)現(xiàn)自己被綠了泪掀。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 39,785評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡颂碘，死狀恐怖异赫，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情头岔，我是刑警寧澤塔拳，帶...
沈念sama閱讀 35,492評論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站峡竣，受9級特大地震影響靠抑，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜适掰，卻給世界環(huán)境...
茶點故事閱讀 41,092評論 3贊 328
男人毒藥：我在死后第九天來索命
文/蒙蒙一颂碧、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧类浪，春花似錦载城、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,723評論 0贊 22
一樁弒父案诉瓦，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至力细，卻和暖如春垦搬，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背艳汽。一陣腳步聲響...
開封第一講書人閱讀 32,858評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工猴贰，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人河狐。一個月前我還...
沈念sama閱讀 47,891評論 2贊 370
代替公主和親
正文我出身青樓米绕，卻偏偏與公主長得像瑟捣，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子栅干，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 44,713評論 2贊 354

詳解機器學(xué)習(xí)中的損失函數(shù)

1. 前言

2. 區(qū)別損失函數(shù)\ 風(fēng)險函數(shù)\ 代價函數(shù)\ 目標(biāo)函數(shù)

3. 常見的損失函數(shù)

總結(jié)

推薦閱讀更多精彩內(nèi)容