? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 搜索MobileNetV3
摘要
我們將結(jié)合互補(bǔ)的搜索技術(shù)和新穎的架構(gòu)設(shè)計(jì)，展示下一代MobileNets鼓鲁。通過結(jié)合硬件感知的網(wǎng)絡(luò)架構(gòu)搜索（NAS）和NetAdapt算法朗若，將MobileNetV3調(diào)整至手機(jī)CPU创肥，然后通過新穎的架構(gòu)改進(jìn)對(duì)其進(jìn)行改進(jìn)矿酵。本文開始探索自動(dòng)搜索算法和網(wǎng)絡(luò)設(shè)計(jì)如何協(xié)同工作以利用互補(bǔ)的方法來改善整體技術(shù)水平浪箭。通過此過程婴梧，我們創(chuàng)建了兩個(gè)用于重新發(fā)布的新MobileNet模型：MobileNetV3-Large和MobileNetV3-Small下梢，它們分別針對(duì)高資源和低資源的用例客蹋。然后將這些模型改編并應(yīng)用于對(duì)象檢測(cè)和語義分割的任務(wù)。對(duì)于語義分割（或任何密集像素預(yù)測(cè)）的任務(wù)孽江，我們提出了一種新的有效分割解碼器精簡(jiǎn)版減少空間金字塔空間池（LR-ASPP）讶坯。我們實(shí)現(xiàn)了移動(dòng)分類，檢測(cè)和分割的最新技術(shù)成果岗屏。與MobileNetVV2相比辆琅，MobileNetV3-Large在ImageNet分類上的準(zhǔn)確度高3.2％，而延遲卻降低了20％这刷。與延遲相當(dāng)?shù)腗obileNetV2模型相比婉烟，MobileNetV3-Small的準(zhǔn)確度高6.6％。 MobileNetV3-Large的檢測(cè)速度快25％以上崭歧，精度與COCO檢測(cè)上的Mo-bileNetV2相同隅很。對(duì)于Cityscapes分割，MobileNetV3-Large LR-ASPP比MobileNetV2 R-ASPP快34％率碾。
1.引言
高效的神經(jīng)網(wǎng)絡(luò)在移動(dòng)應(yīng)用中正變得無處不在叔营，從而實(shí)現(xiàn)了全新的設(shè)備上體驗(yàn)。它們還是個(gè)人隱私的關(guān)鍵推動(dòng)力所宰，使用戶無需將其數(shù)據(jù)發(fā)送到要評(píng)估的服務(wù)器即可獲得神經(jīng)網(wǎng)絡(luò)的好處绒尊。神經(jīng)網(wǎng)絡(luò)效率的提高不僅可以通過更高的準(zhǔn)確性和更低的延遲來改善用戶體驗(yàn)，而且還可以通過降低功耗來節(jié)省電池壽命仔粥。
本文介紹了我們?yōu)殚_發(fā)MobileNetV3大模型和小模型而采用的方法，以便提供下一代高效，高效的神經(jīng)網(wǎng)絡(luò)模型來為設(shè)備上的計(jì)算機(jī)視覺提供動(dòng)力送挑。新的網(wǎng)絡(luò)推動(dòng)了最新技術(shù)發(fā)展夜矗，并展示了如何將自動(dòng)搜索與新穎的架構(gòu)先進(jìn)技術(shù)相結(jié)合，以構(gòu)建有效的模型让虐。
本文的目的是開發(fā)最佳的移動(dòng)計(jì)算機(jī)視覺架構(gòu)，以優(yōu)化在移動(dòng)設(shè)備上的精度-延遲權(quán)衡罢荡。為此赡突，我們引入了（1）互補(bǔ)搜索技術(shù)，（2）適用于移動(dòng)設(shè)置的非線性的新高效版本区赵，（3）新的高效網(wǎng)絡(luò)設(shè)計(jì)惭缰，（4）新的高效分段解碼器。我們提供了詳盡的實(shí)驗(yàn)笼才，展示了在各種使用案例和移動(dòng)電話上評(píng)估的每種技術(shù)的功效和價(jià)值漱受。
本文的結(jié)構(gòu)如下。我們將從第2節(jié)中的相關(guān)工作開始討論骡送。第3節(jié)回顧了用于移動(dòng)模型的有效構(gòu)建基塊昂羡。第4節(jié)介紹架構(gòu)搜索以及MnasNet和NetAdapt算法的互補(bǔ)性。第5節(jié)介紹了新穎的架構(gòu)設(shè)計(jì)摔踱，該設(shè)計(jì)提高了通過聯(lián)合搜索發(fā)現(xiàn)的模型的效率虐先。第6節(jié)介紹了用于分類，檢測(cè)和分段的廣泛實(shí)驗(yàn)派敷，以證明其有效性并了解不同元素的作用蛹批。第7節(jié)包含結(jié)論和未來的工作。
2.相關(guān)工作
近年來篮愉，設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)架構(gòu)以實(shí)現(xiàn)精度和效率之間的最佳折衷一直是一個(gè)活躍的研究領(lǐng)域腐芍。新穎的手工結(jié)構(gòu)和算法神經(jīng)體系結(jié)構(gòu)搜索在推進(jìn)該領(lǐng)域方面都發(fā)揮了重要作用。
SqueezeNet [22]廣泛使用帶有壓縮和擴(kuò)展模塊的1x1卷積试躏，主要側(cè)重于減少參數(shù)數(shù)量猪勇。最近的工作將重點(diǎn)從減少參數(shù)轉(zhuǎn)移到減少操作數(shù)（MAdds）和實(shí)際測(cè)量的延遲。 MobileNetV1 [19]采用深度可分離卷積來顯著提高計(jì)算效率冗酿。 MobileNetV2 [39]通過引入具有反向殘差和線耳瓶頸的資源有效塊來擴(kuò)展此功能埠对。 ShuffleNet [49]利用組卷積和信道洗牌操作來進(jìn)一步減少M(fèi)Adds。 CondenseNet [21]在訓(xùn)練階段學(xué)習(xí)群卷積裁替，以保持各層之間有用的密集連接以供特征重用项玛。 ShiftNet [46]提出了用逐點(diǎn)卷積進(jìn)行交錯(cuò)運(yùn)算的移位運(yùn)算，以取代昂貴的空間卷積弱判。
為了使架構(gòu)設(shè)計(jì)過程自動(dòng)化襟沮，首先引入了強(qiáng)化學(xué)習(xí)（RL）來搜索具有競(jìng)爭(zhēng)力的準(zhǔn)確性的高效架構(gòu)[53，54，3开伏，27膀跌，35]。完全可配置的搜索空間會(huì)成倍增長(zhǎng)并且難以處理固灵。因此捅伤，架構(gòu)搜索的早期工作集中在單元級(jí)結(jié)構(gòu)搜索上，并且同一單元在所有層中都可以重用巫玻。最近丛忆，[43]探索了一個(gè)塊級(jí)分層搜索空間，該空間允許在網(wǎng)絡(luò)的不同分辨率塊上使用不同的層結(jié)構(gòu)仍秤。為了降低搜索的計(jì)算成本熄诡，在[28，5诗力，45]中使用可微體系結(jié)構(gòu)搜索框架進(jìn)行基于梯度的優(yōu)化凰浮。專注于使現(xiàn)有網(wǎng)絡(luò)適應(yīng)受限的移動(dòng)平臺(tái)，[48苇本、15袜茧、12]提出了更有效的自動(dòng)化網(wǎng)絡(luò)簡(jiǎn)化算法。
量化[23圈澈，25惫周，47，41康栈，51递递，52，37]是通過降低精度算法來提高網(wǎng)絡(luò)效率的另一項(xiàng)重要補(bǔ)充工作啥么。最后登舞，知識(shí)蒸餾[4，17]提供了一種額外的補(bǔ)充方法悬荣，可以在大型“教師”網(wǎng)絡(luò)的指導(dǎo)下生成小的準(zhǔn)確的“學(xué)生”網(wǎng)絡(luò)菠秒。
3.高效的移動(dòng)構(gòu)建塊
移動(dòng)模型已經(jīng)建立在越來越高效的構(gòu)建塊上。 MobileNetV1 [19]引入了深度方向可分離卷積作為傳統(tǒng)卷積層的有效替代氯迂。深度可分離卷積通過將空間過濾與特征生成機(jī)制分離開來践叠，有效地分解了傳統(tǒng)卷積。深度可分離卷積由兩個(gè)單獨(dú)的層定義：用于空間濾波的輕型深度深度卷積和用于特征生成的較重的1x1點(diǎn)向卷積嚼蚀。
MobileNetV2 [39]引入了線性瓶頸和倒置殘差結(jié)構(gòu)禁灼，以便通過利用問題的低秩性質(zhì)來提高效率。這種結(jié)構(gòu)如圖3所示轿曙，由1x1擴(kuò)展卷積弄捕，深度卷積和1x1投影層定義僻孝。當(dāng)且僅當(dāng)它們具有相同數(shù)量的通道時(shí)，輸入和輸出才通過剩余連接進(jìn)行連接守谓。這種結(jié)構(gòu)在輸入和輸出處保持緊湊的表示形式穿铆，同時(shí)在內(nèi)部擴(kuò)展到更高維度的特征空間以提高非線性每通道變換的表達(dá)能力。
MnasNet [43]通過在瓶頸結(jié)構(gòu)中引入基于擠壓和激勵(lì)的輕量級(jí)注意力模塊斋荞，在MobileNetV2結(jié)構(gòu)的基礎(chǔ)上構(gòu)建荞雏。注意，與[20]中提出的基于ResNet的模塊相比平酿，擠壓和激勵(lì)模塊集成在不同的位置讯檐。該模塊在擴(kuò)展中的深度過濾器之后放置，以便將注意力放在最大的表示上染服，如圖4所示。
對(duì)于MobileNetV3叨恨，我們使用這些層的組合作為構(gòu)建塊柳刮，以構(gòu)建最有效的模塊。層也通過修改后的不振非線性來升級(jí)[36痒钝、13秉颗、16]。擠壓和激勵(lì)以及緩慢的非線性都使用S形送矩，這對(duì)于定點(diǎn)算術(shù)的計(jì)算和保持精度都具有效率蚕甥，因此效率低下，因此我們將其替換為5.2所述的硬S形[2栋荸，11]菇怀。
4.網(wǎng)絡(luò)搜索
網(wǎng)絡(luò)搜索已經(jīng)證明是發(fā)現(xiàn)和優(yōu)化網(wǎng)絡(luò)體系結(jié)構(gòu)的非常強(qiáng)大的工具[53铃辖、43、5踢星、48]澳叉。對(duì)于MobileNetV3隙咸，我們使用可感知平臺(tái)的NAS通過優(yōu)化每個(gè)網(wǎng)絡(luò)塊來搜索全局網(wǎng)絡(luò)結(jié)構(gòu)。然后成洗，我們使用NetAdapt算法在每層中搜索過濾器的數(shù)量五督。這些技術(shù)是互補(bǔ)的，可以組合起來以有效地找到給定硬件平臺(tái)的優(yōu)化模型瓶殃。
4.1充包。平臺(tái)感知NAS用于逐塊搜索
類似于[43]，我們采用了平臺(tái)感知的神經(jīng)架構(gòu)方法來查找全局網(wǎng)絡(luò)結(jié)構(gòu)遥椿。由于我們使用相同的基于RNN的控制器和相同的分解式分層搜索空間基矮，因此對(duì)于目標(biāo)延遲約為80ms的大型移動(dòng)模型，我們發(fā)現(xiàn)的結(jié)果與[43]相似冠场。因此家浇，我們只需重復(fù)使用與最初的大型移動(dòng)模型相同的MnasNet-A1 [43]，然后在其之上應(yīng)用Ne-tAdapt [48]和其他優(yōu)化碴裙。
但是钢悲，我們觀察到原始獎(jiǎng)勵(lì)設(shè)計(jì)并未針對(duì)小型移動(dòng)模型進(jìn)行優(yōu)化。具體而言舔株，它通過基于每個(gè)模型m平衡模型精度ACC（m）和等待時(shí)間LAT（m）莺琳，使用多目標(biāo)獎(jiǎng)勵(lì)A(yù)CC（m）[LAT（m）= TAR] w近似帕累托最優(yōu)解。目標(biāo)等待時(shí)間TAR载慈。我們觀察到惭等，對(duì)于小型模型，精度隨著時(shí)延的變化會(huì)更加顯著办铡。因此辞做，我們需要一個(gè)較小的權(quán)重系數(shù)w = 0:15（與[43]中的原始w = 0:07相比）來補(bǔ)償不同延遲下更大的精度變化。通過使用新的權(quán)重因子w進(jìn)行增強(qiáng)寡具，我們從頭開始進(jìn)行新的架構(gòu)搜索以找到初始種子模型凭豪，然后應(yīng)用NetAdapt和其他優(yōu)化來獲得最終的MobileNetV3-Small模型。
4.2晒杈。 NetAdapt用于分層搜索
我們?cè)诩軜?gòu)搜索中采用的第二種技術(shù)是NetAdapt [48]嫂伞。這種方法是對(duì)平臺(tái)感知型NAS的補(bǔ)充：它允許按順序?qū)Ω鱾€(gè)層進(jìn)行微調(diào)，而不是試圖推斷出粗略但全局的體系結(jié)構(gòu)拯钻。有關(guān)完整的詳細(xì)信息帖努，請(qǐng)參閱原始論文。簡(jiǎn)而言之粪般，該技術(shù)進(jìn)行如下：
1.首先從平臺(tái)感知型NAS發(fā)現(xiàn)的種子網(wǎng)絡(luò)架構(gòu)開始拼余。
2.對(duì)于每個(gè)步驟：
（a）生成一組新提案。每個(gè)提議都代表對(duì)體系結(jié)構(gòu)的修改亩歹，與上一步相比匙监，該體系至少可以減少延遲凡橱。
（b）對(duì)于每個(gè)建議，我們都使用上一步中的預(yù)訓(xùn)練模型亭姥，并填充新提出的體系結(jié)構(gòu)稼钩，適當(dāng)?shù)亟財(cái)嗖㈦S機(jī)初始化丟失的權(quán)重。對(duì)T步的每個(gè)建議進(jìn)行微調(diào)达罗，以大致估計(jì)其準(zhǔn)確性坝撑。
（c）根據(jù)某些指標(biāo)選擇最佳建議。
3.重復(fù)上一步粮揉，直到達(dá)到目標(biāo)延遲巡李。
在[48]中，度量標(biāo)準(zhǔn)是最小化精度變化扶认。我們修改了該算法侨拦，并最小化了等待時(shí)間變化和精度變化之間的比率。也就是說辐宾，對(duì)于在每個(gè)NetAdapt步驟中生成的所有建議阳谍，我們選擇一個(gè)最大化的建議：Acc j延遲j；延遲滿足2（a）中的約束螃概。直覺是，因?yàn)槲覀兊奶岚甘请x散的鸽疾，所以我們更喜歡最大化權(quán)衡曲線斜率的提案吊洼。
重復(fù)此過程，直到延遲達(dá)到目標(biāo)制肮，然后我們從頭開始重新訓(xùn)練新架構(gòu)冒窍。我們使用與[48]中所用的MobilenetV2相同的提議生成器。具體來說豺鼻，我們?cè)试S以下兩種類型的提案：
1.減小任何擴(kuò)展層的大凶垡骸；
2.減少共享相同瓶頸大小的所有塊的瓶頸-保持剩余連接儒飒。
對(duì)于我們的實(shí)驗(yàn)谬莹，我們使用T = 10000，發(fā)現(xiàn)雖然它提高了提案的初始微調(diào)的精度桩了，但是從頭開始訓(xùn)練時(shí)附帽，它并沒有改變最終精度。我們?cè)O(shè)置= 0：01jLj井誉，其中L是種子模型的等待時(shí)間蕉扮。
5.網(wǎng)絡(luò)改進(jìn)
除了網(wǎng)絡(luò)搜索外，我們還為模型引入了幾個(gè)新組件颗圣，以進(jìn)一步改進(jìn)最終模型喳钟。我們?cè)诰W(wǎng)絡(luò)的開頭和結(jié)尾重新設(shè)計(jì)了計(jì)算昂貴的層屁使。我們還介紹了新的非線性h-swish，它是最近swish非線性的改進(jìn)版本奔则，它計(jì)算速度更快蛮寂，對(duì)量化更友好。
5.1应狱。重新設(shè)計(jì)昂貴的圖層
通過架構(gòu)搜索找到模型后共郭，我們會(huì)發(fā)現(xiàn)某些最后一層以及一些較早的層比其他層更昂貴。我們建議對(duì)體系結(jié)構(gòu)進(jìn)行一些修改疾呻，以減少這些慢層的等待時(shí)間除嘹，同時(shí)保持精度。這些修改超出了當(dāng)前搜索空間的范圍岸蜗。
第一個(gè)修改重做了網(wǎng)絡(luò)的最后幾個(gè)層如何交互以更有效地產(chǎn)生最終功能尉咕。當(dāng)前基于Mo-bileNetV2的倒置瓶頸結(jié)構(gòu)和變體的模型使用1x1卷積作為最后一層，以便擴(kuò)展到更高維度的特征空間璃岳。為了具有豐富的預(yù)測(cè)功能年缎，這一層至關(guān)重要。但是铃慷，這要付出額外的延遲单芜。
為了減少等待時(shí)間并保留高維特征，我們將這一層移到最終平均池之外±绻瘢現(xiàn)在以1x1的空間分辨率而不是7x7的空間分辨率計(jì)算出最終的要素集洲鸠。這種設(shè)計(jì)選擇的結(jié)果是，就計(jì)算和等待時(shí)間而言馋缅，特征的計(jì)算幾乎變得免費(fèi)扒腕。
一旦減輕了該特征生成層的成本，就不再需要先前的瓶頸投影層來減少計(jì)算量萤悴。這一觀察結(jié)果使我們能夠刪除先前瓶頸層中的投影和過濾層瘾腰，從而進(jìn)一步降低了計(jì)算復(fù)雜度。原始的和優(yōu)化的最后階段可以在圖5中看到覆履。有效的最后階段將等待時(shí)間減少了7毫秒蹋盆，這是運(yùn)行時(shí)間的11％，并減少了3000萬個(gè)MAdds的操作次數(shù)硝全，而幾乎沒有精度損失怪嫌。第6節(jié)包含詳細(xì)的結(jié)果。
另一個(gè)昂貴的層是過濾器的初始集合柳沙。當(dāng)前移動(dòng)模型傾向于在完整的3x3卷積中使用32個(gè)濾波器岩灭，以建立用于邊緣檢測(cè)的初始濾波器組。通常赂鲤，這些濾鏡是彼此的鏡像噪径。我們減少了濾波器的數(shù)量柱恤，并使用不同的非線性來嘗試減少冗余，這是實(shí)驗(yàn)找爱。我們決定在該層的性能以及其他經(jīng)過測(cè)試的非線性上使用硬swish非線性梗顺。使用ReLU或swish，我們能夠?qū)⑦^濾器數(shù)量減少到16個(gè)车摄，同時(shí)保持與32個(gè)過濾器相同的精度寺谤。這樣可以節(jié)省額外的2毫秒和1000萬個(gè)MAdd。
5.2意狠。非線性度
在[36粟关，13，16]中引入了一個(gè)稱為swwish的非線性环戈，當(dāng)它被用作ReLU的直接替代品時(shí)闷板，可以顯著提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。非線性定義為
盡管這種非線性提高了精度院塞，但在嵌入式環(huán)境中卻帶來了非零成本遮晚，因?yàn)樵谝苿?dòng)設(shè)備上計(jì)算S型函數(shù)的成本要高得多。我們以兩種方式處理這個(gè)問題拦止。
1.我們將S形函數(shù)替換為其分段線性硬模擬：
類似于[11县遣，44]。較小的區(qū)別是我們使用ReLU6而不是自定義裁剪常數(shù)创泄。同樣，swish的硬版本變成
最近在[2]中也提出了類似版本的“艱苦嘗試”括蝠。 sig-moid和swish非線性的軟版本和硬版本的比較如圖6所示鞠抑。我們選擇常量的原因是簡(jiǎn)單性和與原始平滑版本的良好匹配。在我們的實(shí)驗(yàn)中忌警，我們發(fā)現(xiàn)所有這些功能的硬版本在準(zhǔn)確性上沒有明顯的區(qū)別搁拙，但是從部署的角度來看具有多重優(yōu)勢(shì)。首先法绵，幾乎所有軟件和硬件框架都提供了ReLU6的優(yōu)化實(shí)現(xiàn)箕速。其次，在量化模式下朋譬，它消除了由近似Sig-Moid的不同實(shí)現(xiàn)方式引起的潛在數(shù)值精度損失盐茎。最后，在實(shí)踐中徙赢，h-swish可以實(shí)現(xiàn)為分段功能字柠，以減少內(nèi)存訪問量探越，從而大幅降低等待時(shí)間成本。
2.隨著我們深入網(wǎng)絡(luò)钦幔，應(yīng)用非線性的成本降低，因?yàn)槊慨?dāng)分辨率降低時(shí)常柄，每個(gè)層的激活內(nèi)存通常都會(huì)減半鲤氢。順便說一句，我們發(fā)現(xiàn)西潘，僅通過在更深層次中使用它們卷玉，就可以實(shí)現(xiàn)大部分收益。因此秸架，在我們的架構(gòu)中揍庄，我們僅使用模型的后半部分。準(zhǔn)確的布局請(qǐng)參考表1和2东抹。
即使進(jìn)行了這些優(yōu)化蚂子，h-swish仍然會(huì)帶來一些延遲成本。但是缭黔，正如我們?cè)诘?節(jié)中所演示的那樣食茎，對(duì)準(zhǔn)確性和延遲的凈影響是積極的，沒有進(jìn)行優(yōu)化馏谨，而使用基于分段函數(shù)的優(yōu)化實(shí)現(xiàn)時(shí)卻是相當(dāng)可觀的别渔。
5.3。大擠壓激勵(lì)
在[43]中惧互，擠壓和激發(fā)瓶頸的大小是卷積瓶頸的大小哎媚。相反，我們將它們?nèi)刻鎿Q為固定為擴(kuò)展層中通道數(shù)量的1/4喊儡。我們發(fā)現(xiàn)這樣做可以在不增加參數(shù)數(shù)量的情況下提高準(zhǔn)確性拨与，并且不會(huì)產(chǎn)生明顯的延遲成本。
5.4艾猜。 MobileNetV3定義
MobileNetV3定義為兩個(gè)模型：MobileNetV3-Large和MobileNetV3-Small买喧。這些模型分別針對(duì)高資源和低資源的用例。這些模型是通過將可感知平臺(tái)的NAS和Ne-tAdapt用于網(wǎng)絡(luò)搜索并結(jié)合本節(jié)中定義的網(wǎng)絡(luò)改進(jìn)而創(chuàng)建的匆赃。有關(guān)我們網(wǎng)絡(luò)的完整規(guī)格淤毛，請(qǐng)參見表1和2。
6.實(shí)驗(yàn)
我們目前的實(shí)驗(yàn)結(jié)果證明了新MobileNetV3模型的有效性算柳。我們報(bào)告有關(guān)分類低淡，檢測(cè)和細(xì)分的結(jié)果。我們還報(bào)告了各種消融研究，以闡明各種設(shè)計(jì)決策的影響查牌。
6.1事期。分類
作為標(biāo)準(zhǔn)，我們將ImageNet [38]用于所有分類實(shí)驗(yàn)纸颜，并將準(zhǔn)確度與各種資源使用量度（例如延遲和乘法加法（MAdds））進(jìn)行比較兽泣。
6.1.1培訓(xùn)設(shè)置
我們使用在0.9x動(dòng)量的標(biāo)準(zhǔn)tensorflow RMSPropOp-timizer在4x4 TPU Pod [24]上的同步訓(xùn)練設(shè)置來訓(xùn)練模型。 我們使用0.1的初始學(xué)習(xí)率闺属，批量大小為4096（每芯片128張圖像）慌盯，每3個(gè)周期的學(xué)習(xí)率衰減率0.01，我們使用0.8的輟學(xué)率掂器，l2權(quán)重衰減1e-5和相同的圖像 作為Inception進(jìn)行預(yù)處理[42]亚皂。 最后，我們使用衰減為0.9999的指數(shù)移動(dòng)平均值国瓮。 我們所有的卷積層都使用批量歸一化層灭必，平均衰減為0.99。
6.1.2測(cè)量設(shè)置
為了測(cè)量延遲播歼，我們使用標(biāo)準(zhǔn)的Google Pixel手機(jī)，并通過標(biāo)準(zhǔn)的TFLiteBench-mark工具運(yùn)行所有網(wǎng)絡(luò)肪康。我們?cè)谒袦y(cè)量中都使用單線程大內(nèi)核荚恶。我們不報(bào)告多核推斷時(shí)間撩穿，因?yàn)槲覀儼l(fā)現(xiàn)此設(shè)置不適用于移動(dòng)應(yīng)用磷支。我們?yōu)閠ensorflow lite貢獻(xiàn)了一個(gè)原子的h-swish運(yùn)算符，現(xiàn)在默認(rèn)為最新版本食寡。我們?cè)趫D9中顯示了優(yōu)化的h-swish的影響雾狈。
6.2. Results
從圖1可以看出，我們的模型優(yōu)于當(dāng)前的技術(shù)水平抵皱，例如MnasNet [43]善榛，ProxylessNas [5]和MobileNetV2 [39]辩蛋。我們?cè)诒?中報(bào)告了不同Pixel手機(jī)上的浮點(diǎn)性能。我們?cè)诒?中包含了量化結(jié)果移盆。
在圖7中据途，我們顯示了MobileNetV3的性能折衷與乘法器和分辨率的關(guān)系。請(qǐng)注意叙甸，MobileNetV3-Small如何通過乘數(shù)縮放以匹配性能近3％的方式勝過MobileNetV3-Large颖医。另一方面，分辨率比乘數(shù)提供了更好的折衷裆蒸。但是熔萧，應(yīng)注意，分辨率通常是由問題決定的（例如僚祷，分段和檢測(cè)問題通常需要更高的分辨率）佛致，因此不能始終用作可調(diào)參數(shù)。
6.2.1消融研究
Impact of non-linearities????在表5中，我們研究了在哪里插入h-swishs非線性的選擇畔派，以及在幼稚的實(shí)現(xiàn)上使用優(yōu)化實(shí)現(xiàn)的改進(jìn)铅碍。 可以看出，使用優(yōu)化的h-swishsaves實(shí)現(xiàn)節(jié)省了6ms（超過運(yùn)行時(shí)的10％）线椰。 與傳統(tǒng)的ReLU相比胞谈，Optimizedh-swishonly增加了1ms的附加時(shí)間。
圖8顯示了基于非線性選擇和網(wǎng)絡(luò)寬度的有效邊界。 MobileNetV3在網(wǎng)絡(luò)中間使用h-swish享扔，顯然主導(dǎo)了ReLU趟庄。 有趣的是，向整個(gè)網(wǎng)絡(luò)添加h-swish略勝于擴(kuò)展網(wǎng)絡(luò)的插值邊界伪很。
Impact of other components????在圖9中，我們顯示了不同組件的引入如何沿著延遲/精度曲線移動(dòng)应又。
6.3株扛。偵測(cè)
我們使用MobileNetV3作為SSDLite [39]中的骨干特征提取器的替代產(chǎn)品尤筐，并與COCO數(shù)據(jù)集上的其他骨干網(wǎng)絡(luò)進(jìn)行比較[26]。
遵循MobileNetV2 [39]洞就，我們將SSDLite的第一層連接到輸出步幅為16的最后特征提取器層盆繁，然后將SSDLite的第二層連接到輸出步幅為32的最后特征提取器層。在文獻(xiàn)中旬蟋，我們將這兩個(gè)特征提取層分別稱為C4和C5油昂。對(duì)于MobileNetV3-Large，C4是第13個(gè)瓶頸塊的擴(kuò)展層倾贰。對(duì)于MobileNetV3-Small冕碟，C4是第九個(gè)瓶頸塊的擴(kuò)展層。對(duì)于這兩個(gè)網(wǎng)絡(luò)匆浙，C5是池之前的層安寺。
我們還減少了C4和C5by2之間所有要素層的通道數(shù)。這是因?yàn)镸obileNetV3的最后幾層已調(diào)整為輸出1000類吞彤，當(dāng)將其轉(zhuǎn)移到具有90類的COCO時(shí)可能是多余的我衬。
表中列出了COCO測(cè)試儀的結(jié)果。 6.通過減少信道饰恕，MobileNetV3-Large比具有幾乎相同的mAP的MobileNetVV2快27％挠羔。具有通道減少功能的MobileNetV3-Small也比MobileNetV2和MnasNet高2：4和0：5 mAP，而速度卻提高了35％埋嵌。對(duì)于這兩種MobileNetV3模型破加，信道減少技巧都將導(dǎo)致大約15％的延遲減少而沒有mAP損失，這表明Imagenet分類和COCO對(duì)象檢測(cè)可能更喜歡不同的特征提取器形狀雹嗦。
6.4泊藕。語義分割
在本小節(jié)中辅辩，我們將MobileNetV2 [39]和提出的MobileNetV3用作移動(dòng)語義分割任務(wù)的網(wǎng)絡(luò)骨干。此外娃圆，我們比較了兩個(gè)細(xì)分頭玫锋。在[39]中提出了第一個(gè)，稱為R-ASPP讼呢。 R-ASPP是Atrous空間金字塔池化模塊[7撩鹿、8、9]的標(biāo)志悦屏，該模塊僅采用兩個(gè)分支节沦，包括a1 1con-卷積和全局平均池化操作[29，50]础爬。在這項(xiàng)工作中散劫，我們提出了另一個(gè)輕量級(jí)的細(xì)分頭，稱為L(zhǎng)ite R-ASPP（或LR-ASPP）幕帆，如圖10所示获搏。Lite R-ASPP是對(duì)R-ASPP的改進(jìn)，它部署了全局以類似于“擠壓和激勵(lì)”模塊[20]的方式進(jìn)行平均池化失乾，在該模型中常熙，我們部署了一個(gè)大步幅的大型池化內(nèi)核（以節(jié)省一些計(jì)算量），并且模塊中只有一個(gè)1 1卷積碱茁。我們對(duì)MobileNetV3的最后一個(gè)塊應(yīng)用無窮卷積[18裸卫、40、33纽竣、6]以提取更密集的功能墓贿，并進(jìn)一步從低級(jí)功能添加跳過連接[30]以捕獲更多詳細(xì)信息茧泪。
我們使用mIOU [14]在Cityscapes數(shù)據(jù)集[10]上進(jìn)行實(shí)驗(yàn)，僅使用“精細(xì)”注解聋袋。我們采用與[8队伟，39]相同的訓(xùn)練方案。 Allour模型無需在ImageNet上進(jìn)行預(yù)訓(xùn)練就可以從頭開始進(jìn)行訓(xùn)練[38]幽勒，并使用單個(gè)scalein-put進(jìn)行評(píng)估嗜侮。與對(duì)象檢測(cè)類似，我們觀察到可以將網(wǎng)絡(luò)主干的最后一個(gè)塊中的信道減少2倍啥容，而不會(huì)顯著降低性能锈颗。我們認(rèn)為這是因?yàn)橹鞲删W(wǎng)是針對(duì)1000類ImageNet圖像分類而設(shè)計(jì)的[38]，而Cityscapes上只有19個(gè)類咪惠，這意味著主干網(wǎng)中存在一些通道冗余击吱。
我們?cè)赥ab中報(bào)告我們的Cityscapes驗(yàn)證集結(jié)果。 7.如表中所示遥昧，我們觀察到（1）將網(wǎng)絡(luò)主干的最后一個(gè)塊中的信道減少2倍姨拥，可以顯著提高速度，同時(shí)保持類似的性能（第1行與第2行和第5行對(duì)比）與第6行相比渠鸽，（2）提出的分割頭LR-ASPP比R-ASPP稍快[39]叫乌，同時(shí)性能得到了改善（第2行與第3行對(duì)比，第6行與第7行對(duì)比）徽缚，（3）將分段頭中的過濾器從256減少到128可提高速度憨奸，但性能會(huì)稍差一些（第3行與第4行，第7行與第8行）凿试，（4）使用相同設(shè)置時(shí)排宰，MobileNetV3模型變體達(dá)到類似的性能，但比MobileNetV2的性能略快（行1與行5那婉，行2與行6板甘，行3與行7，行4與行8）详炬，（5）MobileNetV3-Small與MobileNetV2-0.5更快盐类，并且（6）MobileNetV3-Small比MobileNetV2-0.35更好，同時(shí)產(chǎn)生類似的速度呛谜。
標(biāo)簽次兆。圖8顯示了我們的Cityscapes測(cè)試集結(jié)果。我們將MobileNetV3作為網(wǎng)絡(luò)主干的分段模型的性能分別比ESPNetv2 [32]锹锰，CCC2 [34]和ESPNetv1 [32]高6.4％芥炭，10.6％，12.3％恃慧，而在MAdds方面則更快园蝠。在MobileNetV3的最后一個(gè)塊中不使用原子卷積來提取密集的特征圖時(shí)，性能會(huì)稍微下降0.6％痢士，但是速度提高到1.98B（對(duì)于半分辨率輸入）彪薛，分別快了1.36、1.59和2.27倍分別比ESPNetv2怠蹂，CCC2和ESPNetv1大陪汽。此外，我們以MobileNetV3-Small作為網(wǎng)絡(luò)主干的模塊仍然優(yōu)于所有模塊褥蚯，至少健康增長(zhǎng)2.1％挚冤。
7.結(jié)論和今后的工作
在本文中，我們介紹了MobileNetV3大模型和小模型赞庶，這些模型展示了移動(dòng)分類训挡，檢測(cè)和分段方面的最新技術(shù)澳骤。 我們已經(jīng)描述了我們利用多種網(wǎng)絡(luò)架構(gòu)搜索算法的努力以及網(wǎng)絡(luò)設(shè)計(jì)方面的進(jìn)步，以交付下一代移動(dòng)模型澜薄。 我們還展示了如何以一種友好而有效的量化方式適應(yīng)非線性（如擺幅）和施加擠壓和激勵(lì)为肮，并將其引入移動(dòng)模型領(lǐng)域，作為有效的工具肤京。 我們還推出了一種新型的輕型分段解碼器颊艳，稱為L(zhǎng)R-ASPP。 盡管如何最好地將自動(dòng)搜索技術(shù)與人類直覺結(jié)合仍是一個(gè)懸而未決的問題忘分，但我們很高興介紹這些最初的積極成果棋枕，并將在以后的工作中繼續(xù)完善方法。
