log對數(shù)損失函數(shù)（邏輯回歸）
有些人可能覺得邏輯回歸的損失函數(shù)就是平方損失，其實并不是。平方損失函數(shù)可以通過線性回歸在假設(shè)樣本是高斯分布的條件下推導(dǎo)得到，而邏輯回歸得到的并不是平方損失枪芒。在邏輯回歸的推導(dǎo)中，它假設(shè)樣本服從伯努利分布（0-1分布）谁尸，然后求得滿足該分布的似然函數(shù)舅踪，接著取對數(shù)求極值等等。而邏輯回歸并沒有求似然函數(shù)的極值良蛮，而是把極大化當(dāng)做是一種思想抽碌，進而推導(dǎo)出它的經(jīng)驗風(fēng)險函數(shù)為：最小化負(fù)的似然函數(shù)（即max F(y, f(x)) —-> min -F(y, f(x)))。從損失函數(shù)的視角來看背镇，它就成了log損失函數(shù)了咬展。
log損失函數(shù)的標(biāo)準(zhǔn)形式：
取對數(shù)是為了方便計算極大似然估計，因為在MLE（最大似然估計瞒斩，MLE，Maximum Likelihood Estimation)中涮总，直接求導(dǎo)比較困難胸囱，所以通常都是先取對數(shù)再求導(dǎo)找極值點。損失函數(shù)L(Y, P(Y|X))表達的是樣本X在分類Y的情況下瀑梗，使概率P(Y|X)達到最大值（換言之烹笔，就是利用已知的樣本分布裳扯，找到最有可能（即最大概率）導(dǎo)致這種分布的參數(shù)值；或者說什么樣的參數(shù)才能使我們觀測到目前這組數(shù)據(jù)的概率最大）谤职。因為log函數(shù)是單調(diào)遞增的饰豺，所以logP(Y|X)也會達到最大值，因此在前面加上負(fù)號之后允蜈，最大化P(Y|X)就等價于最小化L了冤吨。
平方損失函數(shù)（最小二乘法, Ordinary Least Squares ）
最小二乘法是線性回歸的一種，OLS將問題轉(zhuǎn)化成了一個凸優(yōu)化問題饶套。在線性回歸中漩蟆，它假設(shè)樣本和噪聲都服從高斯分布（為什么假設(shè)成高斯分布呢？其實這里隱藏了一個小知識點妓蛮，就是中心極限定理怠李，可以參考【central limit theorem】），最后通過極大似然估計（MLE）可以推導(dǎo)出最小二乘式子蛤克。最小二乘的基本原則是：最優(yōu)擬合直線應(yīng)該是使各點到回歸直線的距離和最小的直線捺癞，即平方和最小。換言之构挤，OLS是基于距離的髓介，而這個距離就是我們用的最多的歐幾里得距離。
為什么它會選擇使用歐式距離作為誤差度量呢（即Mean squared error儿倒， MSE）版保，主要有以下幾個原因：
簡單，計算方便夫否；
歐氏距離是一種很好的相似性度量標(biāo)準(zhǔn)彻犁；
在不同的表示域變換后特征性質(zhì)不變。
平方損失（Square loss）的標(biāo)準(zhǔn)形式如下：
當(dāng)樣本個數(shù)為n時凰慈，此時的損失函數(shù)變?yōu)椋?br>
Y-f(X)表示的是殘差汞幢，整個式子表示的是殘差的平方和，而我們的目的就是最小化這個目標(biāo)函數(shù)值（注：該式子未加入正則項）微谓，也就是最小化殘差的平方和（residual sum of squares森篷，RSS）。
在實際應(yīng)用中豺型，通常會使用均方差（MSE）作為一項衡量指標(biāo)仲智，公式如下：
上面提到了線性回歸，這里額外補充一句姻氨，我們通常說的線性有兩種情況钓辆，一種是因變量y是自變量x的線性函數(shù)，一種是因變量y是參數(shù)αα的線性函數(shù)。在機器學(xué)習(xí)中前联，通常指的都是后一種情況功戚。
Hinge損失函數(shù)（SVM）
在機器學(xué)習(xí)算法中，hinge損失函數(shù)和SVM是息息相關(guān)的似嗤。在線性支持向量機中啸臀，最優(yōu)化問題可以等價于下列式子：
下面來對式子做個變形，令：
于是烁落，原式就變成了：
如若取λ=12Cλ=12C乘粒，式子就可以表示成：
可以看出，該式子與下式非常相似：
前半部分中的ll就是hinge損失函數(shù)顽馋，而后面相當(dāng)于L2正則項谓厘。
Hinge損失是0-1損失函數(shù)的一種代理函數(shù)，Hinge損失的具體形式如下：
理解Hinge損失函數(shù)：
1.? 實現(xiàn)了軟間隔分類（這個Loss函數(shù)都可以做到）
2.? 保持了支持向量機解的稀疏性
換用其他的Loss函數(shù)的話寸谜，SVM就不再是SVM了竟稳。
正是因為HingeLoss的零區(qū)域?qū)?yīng)的正是非支持向量的普通樣本，從而所有的普通樣本都不參與最終超平面的決定熊痴，這才是支持向量機最大的優(yōu)勢所在他爸，對訓(xùn)練樣本數(shù)目的依賴大大減少，而且提高了訓(xùn)練效率果善。
指數(shù)損失函數(shù)（Adaboost）
指數(shù)損失是0-1損失函數(shù)的一種代理函數(shù)诊笤，指數(shù)損失的具體形式如下：
學(xué)過Adaboost算法的人都知道，它是前向分步加法算法的特例巾陕，是一個加和模型讨跟，損失函數(shù)就是指數(shù)函數(shù)。在Adaboost中鄙煤，經(jīng)過m此迭代之后晾匠，可以得到fm(x):
Adaboost每次迭代時的目的是為了找到最小化下列式子時的參數(shù)αα和G：
而指數(shù)損失函數(shù)(exp-loss）的標(biāo)準(zhǔn)形式如下
可以看出，Adaboost的目標(biāo)式子就是指數(shù)損失梯刚，在給定n個樣本的情況下凉馆，Adaboost的損失函數(shù)為：
關(guān)于Adaboost的推導(dǎo)，可以參考Wikipedia：AdaBoost或者《統(tǒng)計學(xué)習(xí)方法》P145.
0-1損失函數(shù)
在分類問題中亡资，可以使用函數(shù)的正負(fù)號來進行模式判斷澜共，函數(shù)值本身的大小并不是很重要，0-1損失函數(shù)比較的是預(yù)測值fw(x(i))與真實值y(i)的符號是否相同锥腻，0-1損失的具體形式如下：
0-1損失并不依賴m值的大小嗦董，只取決于m的正負(fù)號。0-1損失是一個非凸的函數(shù)瘦黑，在求解的過程中展懈，存在很多的不足销睁，通常在實際的使用中將0-1損失函數(shù)作為一個標(biāo)準(zhǔn)供璧，選擇0-1損失函數(shù)的代理函數(shù)作為損失函數(shù)存崖。
感知損失函數(shù)
感知損失是Hinge損失的一個變種，感知損失的具體形式如下：
運用感知損失的典型分類器是感知機算法睡毒。
絕對值損失函數(shù)
幾種損失函數(shù)的可視化圖像
Hinge損失對于判定邊界附近的點的懲罰力度較高来惧，而感知損失只要樣本的類別判定正確即可，而不需要其離判定邊界的距離演顾，這樣的變化使得其比Hinge損失簡單供搀，但是泛化能力沒有Hinge損失強。
機器學(xué)習(xí)中的目標(biāo)函數(shù)钠至、損失函數(shù)葛虐、代價函數(shù)有什么區(qū)別？
