用一個函數(shù)把W當(dāng)做輸入赚瘦，然后看一下得分车摄，定量地估計W的好壞寺谤，這個函數(shù)被稱為“損失函數(shù)”。
損失函數(shù)用于度量W的好壞吮播。
有了損失函數(shù)的概念后变屁，就可以定量的衡量W到底是好還是壞，要找到一種有效的方法來從W的可行域里意狠，找到W取何值時情況最不壞粟关，，這個過程將會是一個優(yōu)化過程摄职。
損失函數(shù)L_i定義：通過函數(shù)f給出預(yù)測的分?jǐn)?shù)和真實的目標(biāo)（或者說是標(biāo)簽y）誊役，可以定量的描述訓(xùn)練樣本預(yù)測的好不好获列，最終的損失函數(shù)是在整個數(shù)據(jù)集的N個樣本的損失函數(shù)的總和的平均谷市。
損失函數(shù)計算：除了真實的分類Y_i以外，對所有的分類Y都做加和击孩，也就是說我們在所有錯誤的分類上做和迫悠，比較正確分類的分?jǐn)?shù)和錯誤分類的分?jǐn)?shù)，如果正確分類的分?jǐn)?shù)比錯誤分類的分?jǐn)?shù)高出某個安全的邊距巩梢，我們把這個邊距設(shè)為1,创泄；如果真實的分?jǐn)?shù)很高，或者說真實分類的分?jǐn)?shù)比任何錯誤分類的分?jǐn)?shù)都要高很多括蝠，那么損失為0鞠抑。接下來把圖片對每個錯誤分類的損失加起來就可以得到數(shù)據(jù)集中這個樣本的最終損失，然后對整個訓(xùn)練集取平均忌警。
如上圖中所示搁拙，隨著真實分類分?jǐn)?shù)的提升，損失會線性下降，一直到分?jǐn)?shù)超過了一個閾值箕速，損失函數(shù)就會是0酪碘，因為我們已經(jīng)為這個樣本成功地分對了類。
S_yi
- S是通過分類器預(yù)測出來的類的分?jǐn)?shù)
- yi是這個樣本的正確的分類標(biāo)簽
- S_yi是訓(xùn)練集第i個樣本的真實分類的分?jǐn)?shù)
這個式子也就是說要讓真實分類的分?jǐn)?shù)比其他分類高很多盐茎，高出一個安全邊距兴垦，如果沒有高出這個安全邊距，那這樣就會產(chǎn)生損失字柠。
具體計算如下：
對貓計算損失：
對汽車計算損失：
對青蛙計算損失：
取損失函數(shù)平均值：
對于損失函數(shù)最大最小值這個問題探越，可以借助損失函數(shù)圖像，即最小值為0募谎，最大值為無窮大扶关。
我們要關(guān)心的是測試數(shù)據(jù)的性能，如下圖所示数冬，當(dāng)加入新的數(shù)據(jù)（綠色方框）节槐，訓(xùn)練出的曲線表現(xiàn)將是錯誤的，事實上我們希望分類器是預(yù)測的拐纱，這里需要的是綠色的這條線铜异，而不是那條復(fù)雜的線，要完全適合所有的訓(xùn)練數(shù)據(jù)秸架。
因而我們通常會在損失函數(shù)中加一個正則項揍庄，以此選擇更簡單的w。這里其實體現(xiàn)了奧卡姆剃刀的理念东抹，也就是科學(xué)發(fā)現(xiàn)最基本的思想就是要讓一個理論的應(yīng)用更廣泛蚂子。
因而比標(biāo)準(zhǔn)損失函數(shù)包含兩項：丟失項和正則項，這里有一些超參數(shù)λ用來平衡這兩項缭黔。正則項可能是L1懲罰項食茎，也可能是L2懲罰項，還有可能是L1 L2結(jié)合的懲罰項馏谨。
