參考：https://mp.weixin.qq.com/s/ra2qpFSbSuuJPDj39A5MWA
源于GiantPandaCV?庆揪，作者BBuf
文章僅為學(xué)習(xí)筆記无切，感謝文章各位貢獻(xiàn)者，侵刪
交叉熵loss
M表示類(lèi)別數(shù)的圆，為one-hot向量（即元素只取0溪食、1囊卜，若與樣本類(lèi)別相同則取1，否則取0）
缺點(diǎn)：若前景像素遠(yuǎn)小于背景像素错沃，損失函數(shù)中y=0部分會(huì)占據(jù)主導(dǎo)栅组，模型嚴(yán)重偏向背景
代碼實(shí)現(xiàn)：
#二值交叉熵，input需要經(jīng)過(guò)sigmoid處理
nn.BCELoss(F.sigmoid(input), target)
#多分類(lèi)交叉熵
nn.CrossEntropyLoss(input, target)
帶權(quán)交叉熵loss
添加權(quán)重參數(shù)枢析，計(jì)算公式為
玉掸，N表示總的像素?cái)?shù)，Nc表示gt類(lèi)別為c的像素個(gè)數(shù)醒叁，對(duì)于樣本不均衡可以獲得更好的效果
Focal Loss
retinanet引入focal loss解決難易樣本不均衡的問(wèn)題司浪。一階段目標(biāo)檢測(cè)器會(huì)產(chǎn)生10k數(shù)量級(jí)的候選框，但只有少數(shù)是正樣本把沼。計(jì)算分類(lèi)時(shí)常用的交叉熵?fù)p失公式為：
為了解決政府樣本不均衡的問(wèn)題啊易，利用加權(quán)的形式：
由于候選目標(biāo)包含容易區(qū)分的和不易區(qū)分樣本，由于易分樣本占大多數(shù)（易分樣本指置信度高的樣本）饮睬，盡管損失很低租谈，但是仍然主導(dǎo)了損失韓式。易分樣本對(duì)模型效果提升很少捆愁，應(yīng)該主要關(guān)注難分樣本——focal loss：
focal loss pytorch代碼：
參考網(wǎng)址
dice loss
dice系數(shù)：
上述函數(shù)用來(lái)度量集合的相似度割去。分子2是由于分母重復(fù)計(jì)算并集的原因窟却，s取值[0,1]。針對(duì)分割任務(wù)劫拗，X间校、Y指gt和預(yù)測(cè)的圖像。還可以改寫(xiě)為：
dice loss 定義公式：
注意一般情況下使用dice loss會(huì)對(duì)反向傳播不利页慷，使得訓(xùn)練不穩(wěn)定憔足。一般用于樣本極度不均衡的情況
原因說(shuō)明：參考網(wǎng)址
IOU loss
定義：（1-jaccard系數(shù)）
與dice loss一樣屬于metric learning的衡量方式，一樣存在訓(xùn)練過(guò)程不穩(wěn)定的問(wèn)題酒繁，在分割任務(wù)中不怎么使用
Tversky loss
dice loss實(shí)質(zhì)上屬于tversky loss的特殊形式滓彰。
Tversky系數(shù)：是dice系數(shù)和jaccard系數(shù)的廣義系數(shù)
alpha和β均為0.5時(shí)為dice系數(shù)，為1時(shí)為jaccard系數(shù)州袒。A-B為假陽(yáng)性揭绑，B-A為假陰性
Generalized Dice loss
由于dice loss對(duì)小目標(biāo)預(yù)測(cè)十分不利，一旦小目標(biāo)有部分像素預(yù)測(cè)錯(cuò)誤就可能引起dice系數(shù)巨大波動(dòng)（分母）郎哭，導(dǎo)致梯度變化大訓(xùn)練不穩(wěn)定他匪。又因?yàn)閐ice loss針對(duì)的是某一個(gè)特定類(lèi)別的分割的損失，多個(gè)類(lèi)別要用到多個(gè)dice loss夸研。GDL就是對(duì)多個(gè)dice loss 進(jìn)行加權(quán)整合邦蜜。
BCE + Dice loss
適用于數(shù)據(jù)均衡的情況下，若數(shù)據(jù)不均衡亥至，容易退化成dice loss
Focal loss + Dice loss
https://arxiv.org/pdf/1808.05238.pdf
Exponential Logarithmic loss
https://arxiv.org/abs/1809.00076
整合focal loss和dice loss悼沈。表達(dá)式：
其中
Lovasz-Softmax Loss
https://arxiv.org/pdf/1705.08790.pdf
iou loss的擴(kuò)展
