常見損失函數(shù)

損失函數(shù)

什么是損失函數(shù)

? 損失函數(shù)（Loss Function）又叫做誤差函數(shù)杭煎，用來衡量算法的運行情況委可，估量模型的預測值與真實值的不一致程度源织，是一個非負實值函數(shù)饿幅，通常使用 $L(Y, f(x))?$ 來表示。損失函數(shù)越小侨舆，模型的魯棒性就越好秒紧。損失函數(shù)是經(jīng)驗風險函數(shù)的核心部分，也是結構風險函數(shù)重要組成部分挨下。

常見的損失函數(shù)

? 機器學習通過對算法中的目標函數(shù)進行不斷求解優(yōu)化熔恢，得到最終想要的結果。分類和回歸問題中臭笆，通常使用損失函數(shù)或代價函數(shù)作為目標函數(shù)叙淌。
? 損失函數(shù)用來評價預測值和真實值不一樣的程度秤掌。通常損失函數(shù)越好，模型的性能也越好鹰霍。
? 損失函數(shù)可分為經(jīng)驗風險損失函數(shù)和結構風險損失函數(shù)闻鉴。經(jīng)驗風險損失函數(shù)指預測結果和實際結果的差別，結構風險損失函數(shù)是在經(jīng)驗風險損失函數(shù)上加上正則項茂洒。
? 下面介紹常用的損失函數(shù)：

（1）0-1損失函數(shù)
如果預測值和目標值相等孟岛，值為0，如果不相等获黔，值為1蚀苛。
$L(Y, f(x)) = \begin{cases} 1,& Y\ne f(x)\\ 0,& Y = f(x) \end{cases}$

一般的在實際使用中在验，相等的條件過于嚴格玷氏，可適當放寬條件：

$L(Y, f(x)) = \begin{cases} 1,& |Y-f(x)|\geqslant T\\ 0,& |Y-f(x)|< T \end{cases}$

（2）絕對值損失函數(shù)
和0-1損失函數(shù)相似，絕對值損失函數(shù)表示為：
$L(Y, f(x)) = |Y-f(x)|?$

（3）平方損失函數(shù)
$L(Y, f(x)) = \sum_N{(Y-f(x))}^2$

這點可從最小二乘法和歐幾里得距離角度理解腋舌。最小二乘法的原理是盏触，最優(yōu)擬合曲線應該使所有點到回歸直線的距離和最小。

（4）對數(shù)損失函數(shù)
$L(Y, P(Y|X)) = -\log{P(Y|X)}$

? 常見的邏輯回歸使用的就是對數(shù)損失函數(shù)块饺，有很多人認為邏輯回歸的損失函數(shù)是平方損失赞辩，其實不然。邏輯回歸它假設樣本服從伯努利分布（0-1分布）授艰，進而求得滿足該分布的似然函數(shù)辨嗽，接著取對數(shù)求極值等。邏輯回歸推導出的經(jīng)驗風險函數(shù)是最小化負的似然函數(shù)淮腾，從損失函數(shù)的角度看糟需，就是對數(shù)損失函數(shù)。

（6）指數(shù)損失函數(shù)
指數(shù)損失函數(shù)的標準形式為：
$L(Y, f(x)) = \exp(-Yf(x))$

例如AdaBoost就是以指數(shù)損失函數(shù)為損失函數(shù)谷朝。

（7）Hinge損失函數(shù)
Hinge損失函數(shù)的標準形式如下：
$L(y) = \max{(0, 1-ty)}$

統(tǒng)一的形式：
$L(Y, f(x)) = \max{(0, Yf(x))}$

其中y是預測值洲押，范圍為(-1,1)，t為目標值圆凰，其為-1或1杈帐。

在線性支持向量機中，最優(yōu)化問題可等價于

$\underset{\min}{w,b}\sum_{i=1}^N (1-y_i(wx_i+b))+\lambda\Vert w\Vert ^2$

上式相似于下式

$\frac{1}{m}\sum_{i=1}^{N}l(wx_i+by_i) + \Vert w\Vert ^2$

其中 $l(wx_i+by_i)$ 是Hinge損失函數(shù)专钉， $\Vert w\Vert ^2$ 可看做為正則化項挑童。

邏輯回歸為什么使用對數(shù)損失函數(shù)

假設邏輯回歸模型
$P(y=1|x;\theta)=\frac{1}{1+e^{-\theta^{T}x}}$
假設邏輯回歸模型的概率分布是伯努利分布，其概率質量函數(shù)為：
$P(X=n)= \begin{cases} 1-p, n=0\\ p,n=1 \end{cases}$
其似然函數(shù)為：
$L(\theta)=\prod_{i=1}^{m} P(y=1|x_i)^{y_i}P(y=0|x_i)^{1-y_i}$
對數(shù)似然函數(shù)為：
$\ln L(\theta)=\sum_{i=1}^{m}[y_i\ln{P(y=1|x_i)}+(1-y_i)\ln{P(y=0|x_i)}]\\ =\sum_{i=1}^m[y_i\ln{P(y=1|x_i)}+(1-y_i)\ln(1-P(y=1|x_i))]$
對數(shù)函數(shù)在單個數(shù)據(jù)點上的定義為：
$cost(y,p(y|x))=-y\ln{p(y|x)-(1-y)\ln(1-p(y|x))}$
則全局樣本損失函數(shù)為：
$cost(y,p(y|x)) = -\sum_{i=1}^m[y_i\ln p(y_i|x_i)+(1-y_i)\ln(1-p(y_i|x_i))]$
由此可看出跃须，對數(shù)損失函數(shù)與極大似然估計的對數(shù)似然函數(shù)本質上是相同的站叼。所以邏輯回歸直接采用對數(shù)損失函數(shù)。

對數(shù)損失函數(shù)是如何度量損失的

? 例如回怜，在高斯分布中大年，我們需要確定均值和標準差换薄。
? 如何確定這兩個參數(shù)？最大似然估計是比較常用的方法翔试。最大似然的目標是找到一些參數(shù)值轻要，這些參數(shù)值對應的分布可以最大化觀測到數(shù)據(jù)的概率。
? 因為需要計算觀測到所有數(shù)據(jù)的全概率垦缅，即所有觀測到的數(shù)據(jù)點的聯(lián)合概率〕迥啵現(xiàn)考慮如下簡化情況：

（1）假設觀測到每個數(shù)據(jù)點的概率和其他數(shù)據(jù)點的概率是獨立的。

（2）取自然對數(shù)壁涎。
假設觀測到單個數(shù)據(jù)點 $x_i(i=1,2,...n)$ 的概率為：
$P(x_i;\mu,\sigma)=\frac{1}{\sigma \sqrt{2\pi}}\exp \left( - \frac{(x_i-\mu)^2}{2\sigma^2} \right)$

（3）其聯(lián)合概率為：
$P(x_1,x_2,...,x_n;\mu,\sigma)=\frac{1}{\sigma \sqrt{2\pi}}\exp \left( - \frac{(x_1-\mu)^2}{2\sigma^2} \right) \\ \times \frac{1}{\sigma \sqrt{2\pi}}\exp \left( - \frac{(x_2-\mu)^2}{2\sigma^2} \right) \times ... \times \frac{1}{\sigma \sqrt{2\pi}}\exp \left( - \frac{(x_n-\mu)^2}{2\sigma^2} \right)$
? 對上式取自然對數(shù)凡恍，可得：
$\ln(P(x_1,x_2,...x_n;\mu,\sigma))= \ln \left(\frac{1}{\sigma \sqrt{2\pi}} \right) - \frac{(x_1-\mu)^2}{2\sigma^2} \\ + \ln \left( \frac{1}{\sigma \sqrt{2\pi}} \right) - \frac{(x_2-\mu)^2}{2\sigma^2} +...+ \ln \left( \frac{1}{\sigma \sqrt{2\pi}} \right) - \frac{(x_n-\mu)^2}{2\sigma^2}$
根據(jù)對數(shù)定律，上式可以化簡為：
$\ln(P(x_1,x_2,...x_n;\mu,\sigma))=-n\ln(\sigma)-\frac{n}{2} \ln(2\pi)\\ -\frac{1}{2\sigma^2}[(x_1-\mu)^2+(x_2-\mu)^2+...+(x_n-\mu)^2]$
然后求導為：
$\frac{\partial\ln(P(x_1,x_2,...,x_n;\mu,\sigma))}{\partial\mu}= \frac{n}{\sigma^2}[\mu - (x_1+x_2+...+x_n)]$
? 上式左半部分為對數(shù)損失函數(shù)怔球。損失函數(shù)越小越好嚼酝，因此我們令等式左半的對數(shù)損失函數(shù)為0，可得：
$\mu=\frac{x_1+x_2+...+x_n}{n}$
同理竟坛，可計算 $\sigma ?$ 闽巩。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市担汤，隨后出現(xiàn)的幾起案子涎跨，更是在濱河造成了極大的恐慌，老刑警劉巖崭歧，帶你破解...
沈念sama閱讀 218,941評論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件隅很，死亡現(xiàn)場離奇詭異，居然都是意外死亡率碾，警方通過查閱死者的電腦和手機叔营，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,397評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來播掷，“玉大人审编，你說我怎么就攤上這事∑缧伲” “怎么了垒酬？”我有些...
開封第一講書人閱讀 165,345評論 0贊 356
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長件炉。經(jīng)常有香客問我勘究，道長，這世上最難降的妖魔是什么斟冕？我笑而不...
開封第一講書人閱讀 58,851評論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任口糕，我火速辦了婚禮，結果婚禮上磕蛇，老公的妹妹穿的比我還像新娘景描。我一直安慰自己十办，他們只是感情好，可當我...
茶點故事閱讀 67,868評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布超棺。她就那樣靜靜地躺著向族，像睡著了一般。火紅的嫁衣襯著肌膚如雪棠绘。梳的紋絲不亂的頭發(fā)上件相，一...
開封第一講書人閱讀 51,688評論 1贊 305
城市分裂傳說
那天，我揣著相機與錄音氧苍，去河邊找鬼夜矗。笑死，一個胖子當著我的面吹牛让虐，可吹牛的內容都是我干的紊撕。我是一名探鬼主播，決...
沈念sama閱讀 40,414評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼澄干，長吁一口氣：“原來是場噩夢啊……” “哼逛揩！你這毒婦竟也來了？” 一聲冷哼從身側響起麸俘，我...
開封第一講書人閱讀 39,319評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎惧笛，沒想到半個月后从媚，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,775評論 1贊 315
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡患整，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 37,945評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年拜效，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片各谚。...
茶點故事閱讀 40,096評論 1贊 350
活死人
序言：一個原本活蹦亂跳的男人離奇死亡紧憾，死狀恐怖，靈堂內的尸體忽然破棺而出昌渤，到底是詐尸還是另有隱情赴穗，我是刑警寧澤，帶...
沈念sama閱讀 35,789評論 5贊 346
?日本核電站爆炸內幕
正文年R本政府宣布膀息，位于F島的核電站般眉，受9級特大地震影響，放射性物質發(fā)生泄漏潜支。R本人自食惡果不足惜甸赃，卻給世界環(huán)境...
茶點故事閱讀 41,437評論 3贊 331
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望冗酿。院中可真熱鬧埠对，春花似錦络断、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,993評論 0贊 22
一樁弒父案妓羊，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至稍计，卻和暖如春躁绸，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背臣嚣。一陣腳步聲響...
開封第一講書人閱讀 33,107評論 1贊 271
情欲美人皮
我被黑心中介騙來泰國打工净刮，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人硅则。一個月前我還...
沈念sama閱讀 48,308評論 3贊 372
代替公主和親
正文我出身青樓淹父，卻偏偏與公主長得像，于是被迫代替她去往敵國和親怎虫。傳聞我的和親對象是個殘疾皇子暑认，可洞房花燭夜當晚...
茶點故事閱讀 45,037評論 2贊 355