現(xiàn)在你知道softmax的輸出向量是什么意思了盏触，就是概率蔬蕊，該樣本屬于各個類的概率！
來舉個例子吧奕枝。假設(shè)一個5分類問題棺榔，然后一個樣本I的標(biāo)簽y=[0,0,0,1,0]，也就是說樣本I的真實標(biāo)簽是4隘道，假設(shè)模型預(yù)測的結(jié)果概率（softmax的輸出）p=[0.1,0.15,0.05,0.6,0.1]症歇，可以看出這個預(yù)測是對的，那么對應(yīng)的損失L=-log(0.6)谭梗，也就是當(dāng)這個樣本經(jīng)過這樣的網(wǎng)絡(luò)參數(shù)產(chǎn)生這樣的預(yù)測p時忘晤，它的損失是-log(0.6)。那么假設(shè)p=[0.15,0.2,0.4,0.1,0.15]激捏，這個預(yù)測結(jié)果就很離譜了设塔，因為真實標(biāo)簽是4，而你覺得這個樣本是4的概率只有0.1（遠(yuǎn)不如其他概率高缩幸，如果是在測試階段壹置，那么模型就會預(yù)測該樣本屬于類別3），對應(yīng)損失L=-log(0.1)表谊。那么假設(shè)p=[0.05,0.15,0.4,0.3,0.1]钞护，這個預(yù)測結(jié)果雖然也錯了，但是沒有前面那個那么離譜爆办，對應(yīng)的損失L=-log(0.3)难咕。我們知道log函數(shù)在輸入小于1的時候是個負(fù)數(shù)，而且log函數(shù)是遞增函數(shù)距辆，所以-log(0.6) < -log(0.3) < -log(0.1)余佃。簡單講就是你預(yù)測錯比預(yù)測對的損失要大，預(yù)測錯得離譜比預(yù)測錯得輕微的損失要大跨算。
是不是覺得和softmax loss的公式很像爆土。當(dāng)cross entropy的輸入P是softmax的輸出時，cross entropy等于softmax loss诸蚕。Pj是輸入的概率向量P的第j個值步势，所以如果你的概率是通過softmax公式得到的氧猬，那么cross entropy就是softmax loss。這是我自己的理解坏瘩，如果有誤請糾正盅抚。
————————————————
版權(quán)聲明：本文為CSDN博主「AI之路」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議倔矾，轉(zhuǎn)載請附上原文出處鏈接及本聲明妄均。
原文鏈接：https://blog.csdn.net/u014380165/article/details/77284921
————————————————
