關(guān)于交叉熵在loss函數(shù)中使用的理解
https://blog.csdn.net/tsyccnh/article/details/79163834
神經(jīng)網(wǎng)絡(luò)基本構(gòu)架
交叉熵?fù)p失函數(shù)
交叉熵?fù)p失函數(shù)一般用于分類任務(wù)：
softmax函數(shù)
詳解softmax函數(shù)以及相關(guān)求導(dǎo)過程
https://zhuanlan.zhihu.com/p/25723112
softmax用于多分類過程中墩弯，它將多個(gè)神經(jīng)元的輸出肝陪，映射到（0,1）區(qū)間內(nèi)，可以看成概率來理解灰粮，從而來進(jìn)行多分類隶校！
交叉熵函數(shù)
為什么使用交叉熵?fù)p失函數(shù)
交叉熵代價(jià)函數(shù)（作用及公式推導(dǎo)）?
https://blog.csdn.net/u014313009/article/details/51043064
實(shí)際情況證明漏益，交叉熵代價(jià)函數(shù)帶來的訓(xùn)練效果往往比二次代價(jià)函數(shù)要好。
小結(jié)
（1）分類問題的目標(biāo)函數(shù)中：交叉熵?fù)p失函數(shù)是最為常用的分類目標(biāo)函數(shù)惠况，且效果一般優(yōu)于合頁損失函數(shù)遭庶；大間隔損失函數(shù)和中心損失函數(shù)從增大類間距離、減小類內(nèi)距離的角度不僅要求分類準(zhǔn)確稠屠，而且還有助提高特征的分辨能力；坡道損失函數(shù)是分類問題目標(biāo)函數(shù)中的一類非凸損失函數(shù)翎苫，由于其良好的抗噪特性权埠，推薦將其用于樣本噪聲或離群點(diǎn)較多的分類任務(wù)；
（2）回歸問題的目標(biāo)函數(shù)中：l1損失函數(shù)和l2損失函數(shù)是常用的回歸任務(wù)目標(biāo)函數(shù)煎谍，實(shí)際使用l2略優(yōu)于l1攘蔽；Tukey‘s biweight損失函數(shù)為回歸問題中的一類非凸損失函數(shù)，同樣具有良好的抗噪能力呐粘；
（3）在一些如年齡識(shí)別满俗，頭部角度姿態(tài)識(shí)別等樣本標(biāo)記不確定性的特殊應(yīng)用場景下，基于標(biāo)記分布（label distribution）的損失函數(shù)是比較好的選擇作岖。
