Multicalss SVM loss(hinge loss)
給定一個樣本，
是圖像腾仅，
是標(biāo)簽赊淑，對于權(quán)重
預(yù)測輸出的結(jié)果
，s是預(yù)測結(jié)果。
是ground truth的標(biāo)簽的預(yù)測分?jǐn)?shù))，
是其他類別的預(yù)測分?jǐn)?shù)。損失函數(shù)表示如下：
給個例子：
cat:
car:
frog:
對于整個數(shù)據(jù)集煤痕，Loss取平均
AKA:
Example Code in numpy:
def L_i_vectorized(x,y,W):
scores = W.dot(x)
margins = np.maximum(0, scores - scores[y]+1)
margins[y] = 0
loss_i = np.sum(margins)
return loss_i
正則化：
模型的預(yù)測總是趨向于匹配每一個訓(xùn)練數(shù)據(jù)!因此模型的曲線可能會非常的wavy。
當(dāng)加入了新的數(shù)據(jù)之后接谨，預(yù)測的曲線可能完全是錯誤的摆碉，我們傾向的曲線應(yīng)該是像綠色的這條線一樣簡單，而不是非常復(fù)雜的假發(fā)線疤坝。
因此要引入正則化的概念來解決這個問題兆解，引入正則項能夠鼓勵模型以某種方式選擇更簡單的W。且這一概念符合奧卡姆剃刀原理跑揉。
奧卡姆剃刀原理：如果有許多個可以解釋你觀察結(jié)果的假設(shè)锅睛，一般來講，應(yīng)該選擇最簡約的历谍，因為這樣可以在未來將其用于解釋新的觀察結(jié)果现拒。
標(biāo)準(zhǔn)損失函數(shù)：數(shù)據(jù)損失項和正則項。
常用正則項：
Softmax Classifier(Multinomial Logistic Regression)
舉個例子：
圖像對于各個類別預(yù)測的score如下望侈，現(xiàn)在我們不把這些分?jǐn)?shù)直接放在損失函數(shù)里印蔬，而是將他們?nèi)窟M(jìn)行指數(shù)化，并且標(biāo)準(zhǔn)化到使他們的和是1脱衙。
兩種不同的損失函數(shù)
SVM：唯一關(guān)心的是正確的分值要比不正確分值高出一個安全邊際侥猬。
Softmax：一直趨于使概率質(zhì)量函數(shù)（離散分布值）等于1，即使在正確的類別上給出了很高的分值捐韩，在不正確的類別上給了很低的分值退唠，softmax依然會在正確分類的類別上積累更多的概率質(zhì)量，使正確的類別分?jǐn)?shù)向無窮大邁進(jìn)荤胁，不正確的類別分?jǐn)?shù)向負(fù)無窮大邁進(jìn)瞧预。
