本文主要用于介紹曠世于2017年提出的一種輕型網(wǎng)絡(luò)ShuffleNet枉昏。本筆記主要為方便初學(xué)者快速入門狂塘，以及自我回顧党窜。
論文鏈接：https://arxiv.org/pdf/1707.01083
基本目錄如下：
- 摘要
- 核心思想
- 總結(jié)
------------------第一菇 - 摘要------------------
1.1 論文摘要
本文提出了一種計(jì)算效率極其高效的CNN架構(gòu)模型搏予，名為“ShuffleNet”且警，該網(wǎng)絡(luò)是專門被設(shè)計(jì)用于那些計(jì)算資源有限的設(shè)備粉捻。新的架構(gòu)采用了2種新的操作，pointwise group convolution和channel shuffle斑芜，極大的減少了計(jì)算的時(shí)間耗時(shí)肩刃，同時(shí)還保證了高的準(zhǔn)確性！在ImageNet的圖片分類實(shí)驗(yàn)和MS COCO的目標(biāo)檢測上都比MobileNet的表現(xiàn)要好。在一臺ARM芯片的手機(jī)設(shè)備上盈包，shuffleNet相比于AlexNet快了13倍沸呐，同時(shí)還維持了很好的正確率。
------------------第二菇 - 核心思想------------------
作者認(rèn)為現(xiàn)有的一些先進(jìn)架構(gòu)比如Xception和ResNeXt正變的越來越低效呢燥，因?yàn)榇罅康?img class="math-inline" src="https://math.jianshu.com/math?formula=1*1" alt="1*1" mathimg="1">卷積消耗了大量的計(jì)算資源崭添，因此論文才提出來了逐點(diǎn)群卷積（pointwise group convolution）的概念，但是該種卷積方式也有很大的弊端叛氨，即通道之間的信息不再有連接呼渣，因此，為了克服這種弊端力试，作者又提出了一種混合通道（channel shuffle）的操作辦法徙邻。
2.1 Channel Shuffle for Group Convolutions
熟悉卷積操作的同學(xué)，應(yīng)該能理解卷積耗時(shí)的地方畸裳，因?yàn)槊恳淮味夹枰獙γ恳粋€(gè)通道進(jìn)行卷積后再進(jìn)行相加操作缰犁，而這也正是最耗時(shí)的地方，因此我們需要一種通道稀疏的連接（channel sparse connections）怖糊。因此帅容，逐點(diǎn)組卷積的意思就是對輸入的通道進(jìn)行分組，每一個(gè)卷積核只負(fù)責(zé)其對應(yīng)的輸入通道伍伤，從而減少了通道之間的連接操作（By ensuring that each convolution operates only on the corresponding input channel group, group convolution significantly reduces computation cost. ）并徘。最極端的操作，其實(shí)就是扰魂。麦乞。。一個(gè)輸入通道對應(yīng)一個(gè)卷積核哈哈哈（差不多類似MobileNet里提出的Depthwise Conv）劝评。姐直。。因此蒋畜，這里有個(gè)巨大的弊端就是声畏，通道之間的信息不能夠融會貫通了，這是很致命的～如下圖左1所示姻成，
這里就有一種融合的辦法啦插龄，那我們從別的通道里面拿信息不就好啦～如上圖b所示，當(dāng)然這是很好的想法科展，但是其在操作層面均牢，其實(shí)是比較麻煩的～因此，作者提出了一種更高效的解決辦法才睹，那就是如上右圖所示的膨处，channel shuffle operation见秤，其具體的操作我們可以描述為砂竖，
1）假設(shè)輸出為真椿，
代表group數(shù)量
2）reshape為，再轉(zhuǎn)置為
3） 再展開分組
以上過程乎澄，我從網(wǎng)上盜了一張示意圖【1】突硝，用以加深大家的理解，
至此置济，整一套“騷”操作已經(jīng)介紹完畢了解恰，接下來我們具體看一下每一個(gè)單元的具體架構(gòu)。
2.2 ShuffleNet Unit
直接上一張?jiān)撐闹械膱D浙于，
圖應(yīng)該是畫的比較直觀了～其他的一些模型架構(gòu)就不展開了护盈，有興趣的同學(xué)看原論文，寫的很清晰了～主要是理解了channel shuffle的操作羞酗，其它就都很簡單～（ps. 參考文獻(xiàn)1的博主還獻(xiàn)上了源碼解析）
------------------第三菇 - 總結(jié)------------------
3.1 總結(jié)
到這里腐宋，整篇論文的核心思想已經(jīng)說清楚了。本論文主要提出了一種輕型的網(wǎng)絡(luò)架構(gòu)ShuffleNet檀轨，并實(shí)驗(yàn)證明了該網(wǎng)絡(luò)的可行性胸竞，為后續(xù)發(fā)展奠定了基礎(chǔ)。
簡單總結(jié)一下本文就是先羅列了一下該論文的摘要参萄，再具體介紹了一下本文作者的思路卫枝，也簡單表述了一下，自己對整個(gè)ShuffleNet網(wǎng)絡(luò)讹挎，尤其是其中的channel shuffle操作做了細(xì)致的闡釋校赤。希望大家讀完本文后能進(jìn)一步加深對該論文的理解。有說的不對的地方也請大家指出筒溃，多多交流马篮，大家一起進(jìn)步～??
參考文獻(xiàn)：
【1】https://blog.csdn.net/u011974639/article/details/79200559
