???? focal loss來源于論文《Focal loss for dense object detection》, Retinanet目標檢測也在該文中提出奄毡。
1宴咧、FL（focal loss）主要解決目標檢測中容易分類樣本過多渺蒿，導致累計loss偏大跃捣，F(xiàn)L通過給交叉商loss增加調(diào)節(jié)因子近顷，使得容易分類的樣本對總loss的貢獻大大減小，而對錯分的樣本的loss影響不大或接近CE損失久妆。
2、FL的由來經(jīng)過以下三步
（1）一般的CE
正確分類的樣本 loss? = -log(pt)
Sigmoid損失跷睦，不管正樣本還是負樣本筷弦，只要分對，損失都是這個式子抑诸。
（2）加權(quán)CE
-at*log(pt)
解決不均衡樣本問題烂琴。
樣本少at大爹殊，增大對loss貢獻量;
樣本多at小，減少對loss貢獻量奸绷。
（3）可調(diào)節(jié)因子CE（Focal loss）
pt大于0.5的easy examples的loss減小边灭，累積loss減小。
pt小于0.5的錯分樣本loss與CELoss接近健盒，不受影響绒瘦。
3、實驗表明sigmoid和FL一起實現(xiàn)的loss層有更好的數(shù)值穩(wěn)定性
4扣癣、兩階段檢測器解決類別類別不均衡的思想
（1）兩階段級聯(lián)
提出大量候選框惰帽，不是隨機選的，而是更接近正樣本（目標）的候選框父虑，這樣就排除了更多easy examples
（2）有偏置的minibatch采樣
通過采樣使得正負樣本更均衡该酗，比如正負樣本比例1：3，通過采樣均衡后士嚎，easy樣本對loss的貢獻就會變小呜魄，這種方法從數(shù)學上與focal loss一樣。focal loss直接用于單階段檢測器莱衩。
5爵嗅、OHEM解決類別不均衡
《Training region-based object detector with online hard example mining》提出該方法，目的是為了提升雙階段檢測器的訓練笨蚁。
方法：訓練時利用高損失樣本構(gòu)造minibatch
步驟：
（1）每個樣本用其loss評分
（2）應(yīng)用NMS過濾
（3）利用最高loss的樣本構(gòu)造minibatch
可調(diào)參數(shù)：nms閾值睹晒、batchsize
特點：更強調(diào)錯分樣本，完全丟棄易分樣本
實驗表明：FL比OHEM更優(yōu)
