華為云·垃圾分類亞軍方案分享

導(dǎo)語(yǔ)

結(jié)束比賽有幾天了乾巧，這幾天一直在處理前段時(shí)間堆積的工作描沟，今天得空對(duì)自己的方案進(jìn)行梳理總結(jié)。今年7月多結(jié)束魔鏡杯后钾虐，將之前的內(nèi)容整理了一下噪窘，剛好看到華為垃圾分類比賽，由于我的工作內(nèi)容還是偏圖像效扫，所以就想玩玩效览，有幸拿了一個(gè)亞軍。

這次比賽是基于華為云的modelArts平臺(tái)荡短，免費(fèi)的gpu硬件環(huán)境，全新的結(jié)果提交驗(yàn)證方法哆键。感謝組織方華為云掘托，喜歡打比賽的小伙伴也可以多留意該平臺(tái)，會(huì)不定期舉辦各種數(shù)據(jù)類競(jìng)賽籍嘹。這次我們隊(duì)共有三人：謝賦(老虎）闪盔、舒欣（up)和文瑞（一休)弯院，大家交流分工合作，才能不斷奮力前進(jìn)泪掀。這次分享主要是針對(duì)決賽階段听绳，該階段要求模型的推理時(shí)間不能大于100ms，不能使用融合和TTA异赫。故關(guān)于模型融合和TTA技巧椅挣，本次不會(huì)涉及到，后面還會(huì)有圖像分類的專題分享塔拳。

一解題思路

拿到數(shù)據(jù)后鼠证，我們首先做了數(shù)據(jù)分析。統(tǒng)計(jì)數(shù)據(jù)樣本分布靠抑，尺寸分布量九，圖片形態(tài)等，基于分析可以做一些針對(duì)性的數(shù)據(jù)預(yù)處理算法颂碧，對(duì)后期的模型訓(xùn)練會(huì)有很大的幫助荠列。
選擇好的baseline。需要不斷的嘗試各種現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)载城，進(jìn)行結(jié)果對(duì)比肌似，挑選出適合該網(wǎng)絡(luò)的模型結(jié)構(gòu)，然后基于該模型進(jìn)行不斷的調(diào)參个曙，調(diào)試出性能較好的參數(shù)锈嫩。
做結(jié)果驗(yàn)證，分析badcase垦搬。將上述模型在驗(yàn)證集上做結(jié)果驗(yàn)證呼寸，找出錯(cuò)誤樣本，分析出錯(cuò)原因猴贰，然后針對(duì)性的調(diào)整網(wǎng)絡(luò)和數(shù)據(jù)对雪。
基于新數(shù)據(jù)和模型，再次進(jìn)行模型調(diào)優(yōu)

二數(shù)據(jù)分析（EDA)

原始共有43個(gè)類別米绕，共計(jì)19459張圖片瑟捣。圖像類別數(shù)據(jù)不均衡，其中較少數(shù)據(jù)為類別3(牙簽）栅干、類別40（毛巾）和類別41（飲料盒）迈套；數(shù)據(jù)較多的為類別11（菜葉根)和類別21（插頭電線）。

image-20190925011449179

圖片長(zhǎng)寬比有一定的差異性碱鳞，下圖是h/w比例數(shù)據(jù)分布圖（只顯示該類數(shù)量大于100的比例）桑李，長(zhǎng)寬比大多數(shù)集中于1，后來(lái)模型輸入尺寸設(shè)為1：1

image-20190925011513617

基于分析對(duì)圖像進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)操作，包括圖像的等比填充縮放裁剪贵白，水平翻轉(zhuǎn)率拒、高斯噪聲等。其中第一項(xiàng)目禁荒，對(duì)結(jié)果影響較大猬膨。這里是先將原始圖像以最大邊為基準(zhǔn)做等比縮放，不足的地方填充0呛伴，這里縮放后的邊是最終輸入邊長(zhǎng)的256/224倍勃痴，然后在進(jìn)行剪切，這里輸入模型的尺寸為288*288磷蜀。下圖是對(duì)比圖召耘，如果不進(jìn)行等比縮放，最終的結(jié)果是最右邊的圖片褐隆，最后的輸出就極易識(shí)別為筷子污它。

image-20190925013235717

等比縮放的代碼如下：

class Resize(object):
    def __init__(self, size, interpolation=Image.BILINEAR):
        self.size = size
        self.interpolation = interpolation

    def __call__(self, img):
        # padding
        ratio = self.size[0] / self.size[1]
        w, h = img.size
        if w / h < ratio:
            t = int(h * ratio)
            w_padding = (t - w) // 2
            img = img.crop((-w_padding, 0, w+w_padding, h))
        else:
            t = int(w / ratio)
            h_padding = (t - h) // 2
            img = img.crop((0, -h_padding, w, h+h_padding))

        img = img.resize(self.size, self.interpolation)

        return img

三模型設(shè)計(jì)與訓(xùn)練

首先對(duì)原始的數(shù)據(jù)進(jìn)行分組，9：1的比例分為訓(xùn)練集和測(cè)試集庶弃，基于此做線下驗(yàn)證衫贬。

模型結(jié)構(gòu)	baseline準(zhǔn)確率
se_resnext50_32x4d	93.10
se_resnext101_32x4d	93.59
Senet154	94.38
resnext50_32*8d	95.01
resnext101_32*16d_wsl	95.56
resnext101_32*32d_wsl	95.32
Pnasnet5large	94.38
efficientnet-b7	95.20

基于上述結(jié)果驗(yàn)證，采用了resnext101_32*16d_wsl網(wǎng)絡(luò)作為基本的baseline歇攻，進(jìn)行結(jié)果調(diào)優(yōu)固惯，最后的網(wǎng)絡(luò)結(jié)構(gòu)如下圖，紅色的部分為調(diào)整的網(wǎng)絡(luò)部分缴守，模型最后全連接層添加dropout降低過(guò)擬合葬毫，首層卷積添加cbam注意力機(jī)制增強(qiáng)特征表征能力，關(guān)注重要特征抑制不必要特征屡穗√瘢基于此網(wǎng)絡(luò)，現(xiàn)在訓(xùn)練20個(gè)epoch就能收斂到最高分村砂，訓(xùn)練時(shí)間大概5個(gè)小時(shí)左右烂斋。

image-20190925014422492

在模型參數(shù)選擇和調(diào)整方面，嘗試了很多參數(shù)础废，針對(duì)損失函數(shù)分別嘗試了CrossEntropyLoss和focal loss汛骂，優(yōu)化函數(shù)：adabound、Radam评腺、adam帘瞭、sgd和sgd + warm up，其中adabound在起始收斂的速度較快蒿讥，但是最終還是sgd的網(wǎng)絡(luò)精度較高图张。學(xué)習(xí)率優(yōu)化方面使用了ReduceLROnPlateau和定值優(yōu)化兩種方法锋拖，定值優(yōu)化需要根據(jù)實(shí)驗(yàn)選擇適合的降分點(diǎn)。并且也要針對(duì)不同的模型調(diào)整學(xué)習(xí)率祸轮，最終采用的參數(shù)如下：

使用預(yù)訓(xùn)練參數(shù)
優(yōu)化函數(shù): sgd
學(xué)習(xí)率：0.001
學(xué)習(xí)率優(yōu)化：ReduceLROnPlateau
自己設(shè)置的網(wǎng)絡(luò)層，初始學(xué)習(xí)率是預(yù)加載參數(shù)網(wǎng)絡(luò)的5倍

四結(jié)果分析

在驗(yàn)證集上做結(jié)果驗(yàn)證侥钳，得到下圖所示的混淆矩陣适袜。基于此分析各類別預(yù)測(cè)結(jié)果分布舷夺，分析badcase苦酱，采取措施進(jìn)行數(shù)據(jù)擴(kuò)充或數(shù)據(jù)增強(qiáng)工作。

image-20190925015451752

五展望

對(duì)網(wǎng)絡(luò)結(jié)果中的全部殘差塊添加時(shí)間和空間注意力機(jī)制
對(duì)模型進(jìn)行量化和剪枝给猾，在保證精度的同時(shí)提高模型速度
轉(zhuǎn)化為二分類問(wèn)題疫萤，使用人臉的arcfaceloss + triplet loss + focal loss聯(lián)合loss優(yōu)化
在落地的場(chǎng)景中增加反饋機(jī)制，收集用戶的反饋信息敢伸，對(duì)模型進(jìn)行在線訓(xùn)練扯饶，不斷增加訓(xùn)練數(shù)據(jù)優(yōu)化模型。

參考文獻(xiàn)

Robustness properties of Facebook’s ResNeXtWSL models
FaceNet: A Unified Embedding for Face Recognition and Clustering
Focal Loss for Dense Object Detection

感悟與建議

想要做一件事情池颈，要好好的堅(jiān)持下去尾序，堅(jiān)持到最后都會(huì)有所收獲；
結(jié)束一件任務(wù)躯砰，要做好總結(jié)每币，無(wú)論有沒(méi)有獲得名次；
報(bào)著真誠(chéng)的態(tài)度向別人學(xué)習(xí)琢歇，學(xué)習(xí)別人的方法兰怠。比賽這種東西，即使第一次沒(méi)有得獎(jiǎng)李茫，多參加兩次揭保，多熬兩個(gè)夜就會(huì)得獎(jiǎng)了，大多數(shù)比賽技巧性都比較強(qiáng)涌矢。
基礎(chǔ)知識(shí)很重要掖举，真正的牛人基礎(chǔ)都會(huì)比較好，共勉Ｄ缺印Ｋ巍！

如果想要獲取開(kāi)源代碼名秀，關(guān)注微信公眾號(hào)AI成長(zhǎng)社 回復(fù)：垃圾分類励负。

華為云·垃圾分類亞軍方案分享

導(dǎo)語(yǔ)

一 解題思路

二 數(shù)據(jù)分析（EDA)

三 模型設(shè)計(jì)與訓(xùn)練

四 結(jié)果分析

五 展望

推薦閱讀更多精彩內(nèi)容

一解題思路

二數(shù)據(jù)分析（EDA)

三模型設(shè)計(jì)與訓(xùn)練

四結(jié)果分析

五展望