概率分布
概率分布，是指用于表述隨機(jī)變量取值的概率規(guī)律杭措。事件的概率表示了一次試驗(yàn)中某一個(gè)結(jié)果發(fā)生的可能性大小费什。若要全面了解試驗(yàn)，則必須知道試驗(yàn)的全部可能結(jié)果及各種可能結(jié)果發(fā)生的概率手素，即隨機(jī)試驗(yàn)的概率分布鸳址。如果試驗(yàn)結(jié)果用變量X的取值來表示，則隨機(jī)試驗(yàn)的概率分布就是隨機(jī)變量的概率分布泉懦，即隨機(jī)變量的可能取值及取得對(duì)應(yīng)值的概率稿黍。根據(jù)隨機(jī)變量所屬類型的不同，概率分布取不同的表現(xiàn)形式崩哩。
交叉熵
兩個(gè)概率分布之間的距離度量巡球。
對(duì)于離散變量采用以下的方式計(jì)算：
對(duì)于連續(xù)變量：
二分類交叉熵
預(yù)測(cè)分布，取正樣本概率
, 取負(fù)樣本
邓嘹。
真實(shí)分布酣栈，對(duì)于正樣本，取正樣本概率為1汹押，取負(fù)樣本概率為0矿筝；對(duì)于負(fù)樣本，取正樣本概率為0棚贾，取負(fù)樣本概率為1.
onehot 編碼：
預(yù)測(cè)分布：
真實(shí)分布窖维，正樣本, 負(fù)樣本
正樣本時(shí)：
負(fù)樣本時(shí)：
In summary:
Focusing penalty:
focusing parameter
modulating factor
Weighted cross entropy loss （CE） and Focal loss （FL）:
簡(jiǎn)單樣本和困難樣本不均衡的問題。
重點(diǎn)關(guān)注困難樣本的loss：
easy sample: ,
妙痹，do not take the loss into consideration
hard sampel: ,
铸史，original loss
,
, Focal Loss -> CE
References:
https://www.cnblogs.com/king-lps/p/9497836.html
https://zhuanlan.zhihu.com/p/49981234
