經(jīng)典卷積模型之MobileNetV3

MobileNetV3模型

一士八、模型框架

最新的MobileNetV3的被寫在了論文《Searching for MobileNetV3》中容燕。

它是mobilnet的最新版,據(jù)說效果還是很好的婚度。

作為一種輕量級網(wǎng)絡(luò)蘸秘,它的參數(shù)量還是一如既往的小。

它綜合了以下四個特點:
1蝗茁、MobileNetV1的深度可分離卷積(depthwise separable convolutions)醋虏。
2、MobileNetV2的具有線性瓶頸的逆殘差結(jié)構(gòu)(the inverted residual with linear bottleneck)哮翘。
3颈嚼、輕量級的注意力模型。
4饭寺、利用h-swish代替swish函數(shù)阻课。

二、結(jié)構(gòu)層次

其實MobileNetV3中的large與small模型沒有特別大的區(qū)別艰匙,主要的區(qū)別是通道數(shù)的變化與bneck的次數(shù)限煞。


large結(jié)構(gòu).png
small結(jié)構(gòu).png

如何看懂這個表呢?我們從每一列出發(fā):
第一列Input代表mobilenetV3每個特征層的shape變化员凝;
第二列Operator代表每次特征層即將經(jīng)歷的block結(jié)構(gòu)署驻,我們可以看到在MobileNetV3中,特征提取經(jīng)過了許多的bneck結(jié)構(gòu)健霹;
第三旺上、四列分別代表了bneck內(nèi)逆殘差結(jié)構(gòu)上升后的通道數(shù)、輸入到bneck時特征層的通道數(shù)骤公。
第五列SE代表了是否在這一層引入注意力機(jī)制。
第六列NL代表了激活函數(shù)的種類扬跋,HS代表h-swish阶捆,RE代表RELU。
第七列s代表了每一次block結(jié)構(gòu)所用的步長。

MobileNetV3特有的bneck結(jié)構(gòu)


image.png

它綜合了以下四個特點:
a洒试、MobileNetV2的具有線性瓶頸的逆殘差結(jié)構(gòu)(the inverted residual with linear bottleneck)倍奢。


image.png

即先利用1x1卷積進(jìn)行升維度,再進(jìn)行下面的操作垒棋,并具有殘差邊卒煞。

b、MobileNetV1的深度可分離卷積(depthwise separable convolutions)叼架。


image.png

在輸入1x1卷積進(jìn)行升維度后畔裕,進(jìn)行3x3深度可分離卷積。

c乖订、輕量級的注意力模型扮饶。


image.png

這個注意力機(jī)制的作用方式是調(diào)整每個通道的權(quán)重。

d乍构、利用h-swish代替swish函數(shù)甜无。
在結(jié)構(gòu)中使用了h-swish激活函數(shù),代替swish函數(shù)哥遮,減少運算量岂丘,提高性能。


image.png
三眠饮、網(wǎng)絡(luò)優(yōu)點

輕量級的網(wǎng)絡(luò)奥帘,參數(shù)量少

四、代碼實現(xiàn)(tesorflow2)

https://github.com/weigesdl/Classical_convolution_network_model/blob/master/mobilenetV3_large.ipynb
https://github.com/weigesdl/Classical_convolution_network_model/blob/master/mobilenetV3_small.ipynb

五君仆、原文鏈接:

https://blog.csdn.net/weixin_44791964/article/details/104068321

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末翩概,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子返咱,更是在濱河造成了極大的恐慌钥庇,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件咖摹,死亡現(xiàn)場離奇詭異评姨,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)萤晴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門吐句,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人店读,你說我怎么就攤上這事嗦枢。” “怎么了屯断?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵文虏,是天一觀的道長侣诺。 經(jīng)常有香客問我,道長氧秘,這世上最難降的妖魔是什么年鸳? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮丸相,結(jié)果婚禮上搔确,老公的妹妹穿的比我還像新娘。我一直安慰自己灭忠,他們只是感情好膳算,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著更舞,像睡著了一般畦幢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上缆蝉,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天宇葱,我揣著相機(jī)與錄音,去河邊找鬼刊头。 笑死黍瞧,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的原杂。 我是一名探鬼主播印颤,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼穿肄!你這毒婦竟也來了年局?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤咸产,失蹤者是張志新(化名)和其女友劉穎矢否,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體脑溢,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡僵朗,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了屑彻。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片验庙。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖社牲,靈堂內(nèi)的尸體忽然破棺而出粪薛,到底是詐尸還是另有隱情,我是刑警寧澤搏恤,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布违寿,位于F島的核電站让禀,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏陨界。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一痛阻、第九天 我趴在偏房一處隱蔽的房頂上張望菌瘪。 院中可真熱鬧,春花似錦阱当、人聲如沸俏扩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽录淡。三九已至,卻和暖如春油坝,著一層夾襖步出監(jiān)牢的瞬間嫉戚,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工澈圈, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留彬檀,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓瞬女,卻偏偏與公主長得像窍帝,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子诽偷,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容

  • HTTP (HyperText Transfer Protocol) 超文本傳輸協(xié)議坤学,用于傳輸html頁面。 HT...
    可恩閱讀 817評論 0 0
  • 庭前一支花獨艷报慕, 滿室皆聞檀生煙深浮, 堂中有一無須老, 閉目偷得半日閑卖子。
    cc4a1421a252閱讀 213評論 0 0
  • 禿樹吟風(fēng)風(fēng)越凄略号, 飛雁越高己越孤。 世俗為利人自累洋闽, 誰人為名誰空悲玄柠。
    鄉(xiāng)巴姥閱讀 277評論 0 6
  • 俗話說,靈感來源于洗澡诫舅。今天晚上早些時候正好在想羽利,這個React啊,做SPA很厲害刊懈,要做多頁面的該怎么做这弧?于是發(fā)現(xiàn)...
    吃土的小此方閱讀 610評論 1 10
  • 珍惜身邊每個路人給你的微笑娃闲,真心對待身邊每個愛你的人!
    lucyfly閱讀 172評論 0 0