Libra R-CNN

titile	Libra R-CNN: Towards Balanced Learning for Object Detection
url	https://arxiv.org/pdf/1904.02701.pdf
動(dòng)機(jī)	追求sample level坐求、feature level和objective level的balance
內(nèi)容	問題：目標(biāo)檢測的性能受訓(xùn)練過程imbalance的影響履植。訓(xùn)練過程中的主要問題： 1、sample level：IoU-balanced sampling選擇的樣本是否有代表性。 mining方法：對(duì)噪聲類別敏感绰更，有memory和計(jì)算損耗。 Focal loss：對(duì)二階段R-CNN幾乎沒提升官紫，因?yàn)閑asy negatives被兩階段過濾钳榨。 2、feature level：balanced feature pyramid 提取的features是否充分利用微谓。現(xiàn)有方法中integrated features更關(guān)注相鄰分辨率急鳄，更少關(guān)注其他分辨率。在信息流中堰酿，integrated應(yīng)包含非相鄰級(jí)別中的語義信息疾宏。 3、objective level：balanced L1 loss設(shè)計(jì)的objective function是否最優(yōu)触创。 classification and localization not balance,會(huì)有次優(yōu)的性能坎藐，與easy和hard examples相似。 IoU-balanced Sampling： 1哼绑、采樣的樣本分布中hard negtive更多岩馍。 2、參數(shù)K對(duì)結(jié)果影響不大抖韩。 3蛀恩、負(fù)樣本：增加hard negatives，將samples根據(jù)IOU分成K個(gè)bin茂浮，然后從每個(gè)bin取等量的negatives双谆，IOU大的更容易選擇，如果有的bin不夠N/K個(gè)席揽，就會(huì)再從所有samples中選擇顽馋。 4、正樣本：每個(gè)gt_box類對(duì)應(yīng)的boxes為一個(gè)bin幌羞，每個(gè)gt_box的boxes取相同數(shù)量的boxes寸谜，不夠則隨機(jī)選擇。 Balanced Feature Pyramid：整個(gè)過程分為四步：rescaling, integrating, refining and strengthening属桦，將多層語義信息進(jìn)行整合熊痴。 1他爸、Obtaining balanced semantic features： (1)將C2-C5層resize到C4的大小（max pooling或插值）果善。 (2)對(duì)rescale之后的features取均值讲逛，balanced semantic features。 (3)使用相同但相反的過程rescale整合的特征岭埠，增強(qiáng)原始特征盏混。每種分辨率的特征都可以從其他分辨率中獲得相同的信息。 (4)性能提升惜论，參數(shù)沒有增加 2许赃、Refining balanced semantic features：卷積或non-local模塊均可用來refine，non-local更穩(wěn)定馆类，所以采用embedded Gaussian non-local attention混聊，加強(qiáng)特征整合。 Balanced L1 Loss： Faster rcnn的loss直接增加localization的權(quán)重乾巧，會(huì)增加outlier的影響(loss大于等于1的樣本) localization(均為正樣本)過程中outlier是hard examples會(huì)影響訓(xùn)練過程句喜，inlier的easy examples在訓(xùn)練過程中相比與outlier只占30%的梯度貢獻(xiàn)。 Balanced L1 Loss設(shè)計(jì)： 1沟于、傳統(tǒng)L1 smooth通過拐點(diǎn)來區(qū)別outlier和inlier咳胃。 2、Balanced L1提升重要的回歸梯度旷太，即gradients from inliers (accurate samples)展懈。 3、訓(xùn)練中l(wèi)ocalization和classification更均衡供璧。較小α增加inlier梯度存崖，outlier梯度不變。 γ調(diào)整回歸誤差的上限睡毒，幫助目標(biāo)函數(shù)平衡任務(wù)来惧。 b確保等式中兩個(gè)公式x = 1時(shí)有相同值。
實(shí)驗(yàn)	Implementation Details： 8 GPUs (2 images per GPU) 演顾，12 epochs供搀，initial learning rate 0.02, 8和11 epochs學(xué)習(xí)率乘0.1。 Main Results： Ablation Experiments： Overall Ablation Studies ResNet-50 FPN Faster R-CNN baseline (1)IoU-balanced Sampling： (2)Balanced Feature Pyramid (3)Balanced L1 Loss Ablation Studies on IoU-balanced Sampling Ablation Studies on Balanced Feature Pyramid： Ablation Studies on Balanced L1 Loss：
思考	在我自己的數(shù)據(jù)集偶房，retinanet加balanced L1趁曼，增大regression權(quán)重可以漲1.7個(gè)點(diǎn)，IoU-balanced sampling無效果棕洋，掉點(diǎn)；faster rcnn默認(rèn)值訓(xùn)練也可漲
補(bǔ)充知識(shí)	non-local: 參考

最后編輯于：2019.10.29 17:08:16

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者