本文已經(jīng)放到arxiv 上面了：
http://arxiv.org/abs/1802.03750
FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy

下面是論文的一個(gè)簡(jiǎn)短的介紹：

實(shí)踐過程中發(fā)現(xiàn)了一個(gè)對(duì)MobileNet 微調(diào)即可完成提升的方法胆绊。不過只能在140 MFLOPS 以下的小網(wǎng)絡(luò)會(huì)有提升免姿，例如40MFLOPS 對(duì)原版有3%的提升，12-13MFLOPS 對(duì)原版有5%的提升；相對(duì)的澈圈，對(duì)大于這個(gè)數(shù)量級(jí)的會(huì)略微變差。相比ShuffleNet 相同的計(jì)算量下的網(wǎng)絡(luò)會(huì)略差一些，但因?yàn)镾huffleNet 比較復(fù)雜，額外層的耗時(shí)有點(diǎn)多趣竣，工程優(yōu)化難度大，因此我們這個(gè)小發(fā)現(xiàn)會(huì)有那么一點(diǎn)點(diǎn)競(jìng)爭(zhēng)力旱物。

實(shí)驗(yàn)結(jié)果

第一部分遥缕，MobilenetV1，藍(lán)色是我們復(fù)現(xiàn)的結(jié)果宵呛，黑色是論文中的結(jié)果单匣。實(shí)驗(yàn)是在pytorch 上面完成的，imagenet 2012數(shù)據(jù)集，120 epochs 標(biāo)準(zhǔn)訓(xùn)練過程户秤。我們的結(jié)果比MobileNet 論文中略高一點(diǎn)點(diǎn)码秉。
第二部分和第三部分，分別是ShuffleNet 在兩個(gè)版本論文中的結(jié)果虎忌，v1 是指單欄排版的泡徙，v2 是指雙欄排版的橱鹏。
第四部分膜蠢，compact-Mobilenet，是我們微調(diào)結(jié)構(gòu)的Mobilenet莉兰。

網(wǎng)絡(luò)結(jié)構(gòu)

這樣的結(jié)構(gòu)一目了然挑围，最右邊Compact-MNet 在第一次步長(zhǎng)為2 的卷積之后并沒有"逗留"，而是徑直再進(jìn)入一次步長(zhǎng)為2 的卷積糖荒，如果將depthwise + pointwise 卷積看成是一個(gè)conv set 的話杉辙，那么這個(gè)結(jié)構(gòu)簡(jiǎn)單說(shuō)就是網(wǎng)絡(luò)開始就進(jìn)入連續(xù)三個(gè)步長(zhǎng)為2的conv sets。后邊都是按MobileNet 照貓畫虎了捶朵，期間還嘗試了幾個(gè)類似的high-level層的微調(diào)結(jié)構(gòu)蜘矢，這個(gè)是最好的一個(gè)。
這個(gè)工作的思維過程說(shuō)起來(lái)還是從ShuffleNet 中學(xué)習(xí)來(lái)的综看，簡(jiǎn)單說(shuō)就是將ShuffleNet 開始的頭部結(jié)構(gòu)拿到了MobileNet 上進(jìn)行了一次移植品腹。
大概猜測(cè)的原因是，這樣可以迅速降低特征圖分辨率红碑，降低對(duì)等結(jié)構(gòu)計(jì)算量舞吭，同時(shí)保持計(jì)算量不變的結(jié)構(gòu)的特征描述能力比原版的就要好一些了。

實(shí)驗(yàn)分析

由于該結(jié)構(gòu)是對(duì)原版MobileNet 的一次微調(diào)析珊，調(diào)整過程可以簡(jiǎn)單到修改一下特征圖通道數(shù)組和步長(zhǎng)數(shù)組即可羡鸥。所以只要跑過MobileNet 的代碼，那么得到compact MobileNet 的代碼基本上不需要花時(shí)間忠寻，直接復(fù)現(xiàn)實(shí)驗(yàn)即可惧浴。同理，這個(gè)結(jié)果的工程實(shí)現(xiàn)和工程優(yōu)化難度奕剃，可以MobileNet 原版一模一樣赶舆，可能相比ShuffleNet 的復(fù)雜結(jié)構(gòu)來(lái)講會(huì)有一定的優(yōu)勢(shì)。
這塊的代碼月底會(huì)和我們組另外一個(gè)工作一起放出祭饭。

更多

這個(gè)小的改動(dòng)本質(zhì)是一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)trick芜茵，一開始連續(xù)下降兩次或者三次的做法，不光在ShuffleNet上是這樣的倡蝙，在很多網(wǎng)絡(luò)上也是類似的九串。

English Version:

FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy

Zhaoning Zhang, Qin Zheng, Xiaotao Chen
PDL, NUDT

Abstract

We present a compact MobileNets structure. It is a fine adjusted structure from the original MobileNets and performs better than the counterpart original MobileNets structure in tiny networks, such as 140 MFLOPs or less. Without the extra time consumed by the extra layers, compact MobileNets provides a competitive choice for the neural networks run on the hardwares of very limited computing power. Further, it is with very easy engineering realization and engineering optimization.

Experiment Results

Network Structure

The rightmost Compact-MobileNet is different with original MobileNet at the head part, compact mnet is with three continuous stride=2 convolutional sets (depthwise + pointwise conv). This structure is inspired by the head structure of ShuffleNet. The other part of the network is also fine tuned and this structure is the best in practice.
The reason why this structure performs better in tiny networks is that, as we speculated, the feature map is down sampled at very low level, with the complexity reduced fiercely in the counterpart structure, and when the complexity is restored by width modifier, the representational power surpass the original one, in the tiny structures.

Engineering

The compact structure can be reproduced by only modifying python arrays of feature map filters and strides. So, it is with very easy engineering realization and engineering optimization, as the same as MobileNets. The code will be available soon with the other work of our team.

Google在2018年1月16號(hào)放出來(lái)的MobilenetV2 結(jié)構(gòu) https://arxiv.org/abs/1801.04381 ，我這邊已經(jīng)復(fù)現(xiàn)過了，可以達(dá)到論文所說(shuō)的精度猪钮，文中還有大量的細(xì)節(jié)放出品山，確實(shí)是一篇良心論文。引用知乎問題：如何評(píng)價(jià)mobilenet v2 ?

發(fā)展實(shí)在是太快了烤低，因?yàn)槲易约哼@個(gè)工作本就是抖機(jī)靈的肘交，就在這里放一篇非正式的算了。
^v^