【CV論文筆記】Squeeze-and-Excitation Networks(SENet模塊理解)

本文主要用于介紹最后一屆ImageNet冠軍模型SENet網(wǎng)絡凭涂。本筆記主要為方便初學者快速入門,以及自我回顧救赐。

論文鏈接:https://arxiv.org/pdf/1709.01507.pdf
論文代碼地址:https://github.com/hujie-frank/SENet
PyTorch代碼地址:https://github.com/miraclewkf/SENet-PyTorch

基本目錄如下:

  1. 摘要
  2. 核心思想
  3. 總結(jié)

------------------第一菇 - 摘要------------------

1.1 論文摘要

卷積神經(jīng)網(wǎng)絡(CNNs)的核心模塊其實就是卷積操作涧团,該操作通過融合每一層局部感受野的空間和不同通道信息來構建特征。在此之前经磅,已經(jīng)有很多的研究來實踐空間的信息融合問題泌绣,希望通過去融合不同層級的特征從而增強CNNs的特征表達能力。在我們本次的工作中预厌,我們專注于去研究不同通道之間的關系阿迈,并提出了一種新穎的結(jié)構,稱為“Squeeze-and-Excitation” SE模塊配乓,該模塊通過對每一個特征層的信息分別建模從而去自適應的重新定義每一個通道的特征仿滔。我們還證明了該種架構能夠輕易的被移植用于其他網(wǎng)絡架構。后續(xù)通過更多的實驗,我們還發(fā)現(xiàn)SE模塊能夠以輕微的計算性能損失帶來極大的準確率提升。我們的模型贏得了2017ImageNet冠軍昔善,并且是以極大的優(yōu)勢獲得的冠軍虱而,碾壓了16年的成績。模型代碼的開源地址為:https://github.com/hujie-frank/SENet

------------------第二菇 - 核心思想------------------
本文對于提升網(wǎng)絡性能的考量點主要是從特征通道之間的關聯(lián)關系入手的因妇,為此本文提出了SE模塊(并不是一個完整的網(wǎng)絡結(jié)構,而只是一個子結(jié)構,能嵌套進其他的網(wǎng)絡中)牺荠,其重點就在于顯式地建模特征通道之間的相互依賴關系。簡單來講就是通過學習的方式去自動獲取每個特征通道的重要程度驴一,然后依照這個重要程度來對特征進行重新“加權”計算休雌,從而突出重要的特征,抑制不重要的特征肝断。因此杈曲,我們重點就來理一下整個SE子結(jié)構的內(nèi)部結(jié)構。

直接先上一張原文中的架構圖胸懈,發(fā)現(xiàn)知乎上一張更好的配了步驟的圖担扑,盜過來了【1】,

SE模塊結(jié)構圖.jpg

可以很清晰的看到整個SE模塊可以分為3個步驟趣钱,首先對卷積得到特征圖進行Squeeze操作涌献,得到channel級的全局特征,然后對全局特征進行Excitation操作首有,學習各個channel間的關系燕垃,也得到不同channel的權重,最后乘以原來的特征圖得到最終的特征绞灼。簡單理解利术,可以把這種學習權重的過程視作是一種"attention"的方法。接下來低矮,我們就具體看一下這倆個步驟分別做了什么印叁。

2.1 Squeeze操作

第一步操作就是將一個channel上整個空間特征編碼為一個全局特征,采用全局平均池化的方法(當然也可以有更復雜的策略)军掂,

Squeeze計算公式.jpg

如上圖所示轮蜕,其實就是對于每一個channel都提取出了一個特征,最后的輸出自然也是1*1*C

2.2 Excitation操作

直接上公式蝗锥,

s = F_{ex}(z,W) = \sigma(g(z,W)) = \sigma(W_2\delta(W_1z))

其中z就是Squeeze操作后得到的輸出跃洛,維度為1*1*C

一步步來看终议,首先是第一個W_1z汇竭,表明的意思就是一個簡單的全連接操作葱蝗,其中W_1的維度就是\frac {C}{r} * Cr是一個縮放參數(shù)细燎,意思就是為了減少channel的個數(shù)(減少計算量)两曼,所以第一步的輸出維度就是1*1*\frac{C}{r}。然后經(jīng)過一個ReLU層玻驻,輸出維度不變悼凑。接著就是乘W_2,其實本質(zhì)也是一個全連接層的過程璧瞬,而為了讓輸出與之前的輸入channel個數(shù)相等户辫,這里的W_2的維度就是C*\frac{C}{r},最后的輸出再經(jīng)過sigmoid激活函數(shù)嗤锉,得到s渔欢,其維度為1*1*C

整個過程其實簡單明了瘟忱,本質(zhì)的核心就是去學習各個通道數(shù)之間的權重關系膘茎,如上圖的顏色所示,不同顏色就代表了不同的權重酷誓。最后一步就十分簡單了披坏,就是拿這個權重去與之前的特征圖進行channel-wise multiplication操作,這個應該很好理解盐数,這里就不展開了棒拂。

至此,整一個SE模塊的實現(xiàn)細節(jié)已經(jīng)講明白了玫氢,接下來我們具體看一下其是怎么運用在實際網(wǎng)絡中的帚屉。

2.2 SE模塊的運用

在Inception中加入SE 模塊的示意圖如下所示,


Inception+SE模塊.jpg

在ResNet中加入SE 模塊的示意圖如下所示漾峡,


ResNet+SE模塊.jpg

其他有關訓練和參數(shù)的細節(jié)這里就不展開了攻旦,有興趣的同學可以看原論文或者看這篇博文~

------------------第三菇 - 總結(jié)------------------

3.1 總結(jié)

到這里,整篇論文的核心思想已經(jīng)說清楚了生逸。本論文主要是提出了一種新的構造特征的方法牢屋,即聯(lián)系起各個channel間的關系,提出了SENet模塊槽袄,并對此改進提供了充實的理論依據(jù)和實驗證明烙无,為后續(xù)發(fā)展奠定了基礎。

簡單總結(jié)一下本文就是先羅列了一下該論文的摘要遍尺,再具體介紹了一下本文作者的思路截酷,也簡單表述了一下,自己對整個SENet模塊的理解乾戏。希望大家讀完本文后能進一步加深對該論文的理解迂苛。有說的不對的地方也請大家指出三热,多多交流,大家一起進步~??

參考文獻:
【1】https://zhuanlan.zhihu.com/p/65459972

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末三幻,一起剝皮案震驚了整個濱河市康铭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌赌髓,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件催跪,死亡現(xiàn)場離奇詭異锁蠕,居然都是意外死亡,警方通過查閱死者的電腦和手機懊蒸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進店門荣倾,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人骑丸,你說我怎么就攤上這事舌仍。” “怎么了通危?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵铸豁,是天一觀的道長。 經(jīng)常有香客問我菊碟,道長节芥,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任逆害,我火速辦了婚禮头镊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘魄幕。我一直安慰自己相艇,他們只是感情好,可當我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布纯陨。 她就那樣靜靜地躺著坛芽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪翼抠。 梳的紋絲不亂的頭發(fā)上靡馁,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天,我揣著相機與錄音机久,去河邊找鬼臭墨。 笑死,一個胖子當著我的面吹牛膘盖,可吹牛的內(nèi)容都是我干的胧弛。 我是一名探鬼主播尤误,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼结缚!你這毒婦竟也來了损晤?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤红竭,失蹤者是張志新(化名)和其女友劉穎尤勋,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體茵宪,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡最冰,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了稀火。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片暖哨。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖凰狞,靈堂內(nèi)的尸體忽然破棺而出篇裁,到底是詐尸還是另有隱情,我是刑警寧澤赡若,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布达布,位于F島的核電站,受9級特大地震影響逾冬,放射性物質(zhì)發(fā)生泄漏往枣。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一粉渠、第九天 我趴在偏房一處隱蔽的房頂上張望分冈。 院中可真熱鬧,春花似錦霸株、人聲如沸雕沉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽坡椒。三九已至,卻和暖如春尤溜,著一層夾襖步出監(jiān)牢的瞬間倔叼,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工宫莱, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留丈攒,地道東北人。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像巡验,于是被迫代替她去往敵國和親际插。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容