本部分是筆者對(duì)CVPR2020部分感興趣的文章的略讀，大致包括圖像分類、檢測(cè)以及分割三個(gè)主題包警，由于是略讀，因此不會(huì)對(duì)文章進(jìn)行細(xì)致的分析底靠，而只會(huì)大體闡述實(shí)現(xiàn)的方法。

圖像分類：

1特铝、GhostNet: More Features from Cheap Operations

研究問(wèn)題：

CNN中隨著卷積的進(jìn)行暑中，通道數(shù)越來(lái)越多，網(wǎng)絡(luò)的性能就依賴于這些高度冗余的特征圖鲫剿，以往的卷積方式計(jì)算較為復(fù)雜鳄逾，因此本文希望找到一種計(jì)算更為簡(jiǎn)單的替代方式來(lái)產(chǎn)生這些冗余的特征圖。

實(shí)現(xiàn)方式：

首先分析基本結(jié)構(gòu)灵莲，ghost模塊分為兩步操作雕凹，第一步先使用卷積操作，減少了通道，為的是減少運(yùn)算量枚抵，第二步較為巧妙线欲，對(duì)每個(gè)通道的特征圖都進(jìn)行了卷積操作，生成個(gè)特征圖汽摹，個(gè)特征圖共生成個(gè)李丰，再堆疊上原來(lái)的特征圖，通道數(shù)為逼泣，總共生成的通道數(shù)為趴泌，達(dá)到了跟普通卷積一樣的結(jié)果，但沒(méi)有使用逐點(diǎn)卷積拉庶，大大減少了計(jì)算量嗜憔。

網(wǎng)絡(luò)的設(shè)計(jì)借鑒了MobileNet網(wǎng)絡(luò)，也是一種倒置殘差結(jié)構(gòu)氏仗，值得注意的是吉捶，文章也引入了一個(gè)寬度因子來(lái)控制通道的層數(shù)，用來(lái)減少運(yùn)算量廓鞠≈愠恚總的來(lái)說(shuō)，性能要超出MobileNet網(wǎng)絡(luò)與ShuffleNet網(wǎng)絡(luò)床佳。

2滋早、Self-training with Noisy Student improves ImageNet classificatio

研究問(wèn)題：

利用自訓(xùn)練的方式砌们，通過(guò)利用已標(biāo)記的數(shù)據(jù)以及未標(biāo)記的數(shù)據(jù)訓(xùn)練出一個(gè)強(qiáng)大的網(wǎng)絡(luò)杆麸。

實(shí)現(xiàn)方式：

知識(shí)蒸餾是通過(guò)一個(gè)性能強(qiáng)大的teacher網(wǎng)絡(luò)浪感，訓(xùn)練出一個(gè)較小的student網(wǎng)絡(luò)揭斧，性能可能略遜色于teacher網(wǎng)絡(luò)，但復(fù)雜度大大減少旦万。本文與知識(shí)蒸餾的逆過(guò)程相類似镶蹋，示意圖如下：

首先利用已標(biāo)記好的數(shù)據(jù)訓(xùn)練一個(gè)teacher網(wǎng)絡(luò)成艘，之后將未標(biāo)記的數(shù)據(jù)送進(jìn)teacher網(wǎng)絡(luò)中赏半，產(chǎn)生偽標(biāo)簽，再找到一個(gè)起碼性能起碼不遜色與teacher網(wǎng)絡(luò)的student網(wǎng)絡(luò)淆两，將已標(biāo)記數(shù)據(jù)與帶有偽標(biāo)簽的數(shù)據(jù)混合進(jìn)行訓(xùn)練断箫，訓(xùn)練好了之后再將student網(wǎng)絡(luò)當(dāng)作teacher網(wǎng)絡(luò)重復(fù)這個(gè)過(guò)程。需要注意的是琼腔，本文的一大創(chuàng)新點(diǎn)就是在student網(wǎng)絡(luò)訓(xùn)練的過(guò)程中引入了噪聲瑰枫，使得訓(xùn)出來(lái)的網(wǎng)絡(luò)更加魯棒，更加強(qiáng)大丹莲；噪聲又分為輸入噪聲與模型噪聲光坝，輸入噪聲通過(guò)隨機(jī)增強(qiáng)得到，可以鼓勵(lì)模型預(yù)測(cè)一些更難的圖像甥材，而模型噪聲通過(guò)dropout與隨機(jī)深度函數(shù)得到盯另，可以迫使網(wǎng)絡(luò)進(jìn)行類似于集成學(xué)習(xí)的學(xué)習(xí)。此外洲赵，本文還使用了數(shù)據(jù)過(guò)濾來(lái)過(guò)濾那些teacher模型表現(xiàn)不好的圖像鸳惯，數(shù)據(jù)平衡來(lái)確保各個(gè)類別的圖片數(shù)量大致相等。

其他：

1叠萍、Designing Network Design Spaces

研究問(wèn)題：通過(guò)搜索設(shè)計(jì)空間芝发，找到設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的一套通用的法則

實(shí)現(xiàn)方式：

神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索是為了某個(gè)任務(wù)搜索到最佳的神經(jīng)網(wǎng)絡(luò)架構(gòu)，而本文則是想搜索到通用的神經(jīng)網(wǎng)絡(luò)架構(gòu)苛谷。設(shè)計(jì)空間是非常龐大的辅鲸，因此本文使用的方法是采樣，并通過(guò)錯(cuò)誤經(jīng)驗(yàn)分布來(lái)比較性能腹殿，不斷的縮小范圍独悴，最終找到答案。所采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：

主要區(qū)別在body網(wǎng)絡(luò)的設(shè)計(jì)锣尉，主要有以下四個(gè)參數(shù)：塊的數(shù)目刻炒，通道的寬度，瓶頸層比率跟組寬度（即組卷積用的組數(shù)）自沧，經(jīng)過(guò)測(cè)試坟奥，發(fā)現(xiàn)共享瓶頸層比率以及組寬度最佳，并且拇厢，塊的數(shù)目以及通道的寬度應(yīng)該逐漸增加爱谁。這里使用了線性函數(shù)建模了block深度與寬度的關(guān)系：這里是初始化的寬度，是斜率旺嬉，具體可見論文。為了量化厨埋，引入額外的變量邪媳，有：

因此，這里主要搜索，通過(guò)實(shí)驗(yàn)有以下結(jié)論可供參考：

1）網(wǎng)絡(luò)不是越深越好雨效，20個(gè)block左右較為合適

2）瓶頸層比率設(shè)為1最佳

3）寬度因子設(shè)為2.5為宜

4）其余參數(shù)最好隨著網(wǎng)絡(luò)增大而增大

5）速度用activations衡量最好（即所有卷積層輸出tensor大醒镐獭）

2、Circle Loss: A Unified Perspective of Pair Similarity Optimization

研究問(wèn)題：無(wú)論是分類還是回歸徽龟，我們所要求的無(wú)非就是類內(nèi)相似度足夠大叮姑，類間相似度足夠小，文章基于這個(gè)問(wèn)題据悔，提出了一種基于對(duì)的統(tǒng)一的相似性優(yōu)化方法传透。

實(shí)現(xiàn)方式：

類內(nèi)相似性用來(lái)表示，類間相似性用來(lái)表示极颓，所以需要最小化朱盐，直接優(yōu)化會(huì)出現(xiàn)兩個(gè)問(wèn)題，一個(gè)是類內(nèi)相似性與類間相似性的比重一樣菠隆，這樣基于梯度進(jìn)行優(yōu)化的幅度是一樣的兵琳，較為的低效，另一個(gè)是收斂狀態(tài)模糊骇径，雖然差值一樣但與具體的值可能不一樣躯肌，解決的方法是對(duì)兩個(gè)分布賦予一個(gè)權(quán)重，即破衔，

首先給出統(tǒng)一的損失函數(shù)公式：

此公式可以降級(jí)成其他損失函數(shù)清女，這里不展開。將上式換成circle loss的形式运敢，則：

規(guī)定校仑，無(wú)論是類間相似度還是類內(nèi)相似度，如果偏離最優(yōu)值越大传惠，那么懲罰力度就越大迄沫，因此有：

其中+代表從0截?cái)啵砣≈捣秦?fù)卦方。另外羊瘩，與非對(duì)稱，因此各自定義余量盼砍，有：

考慮簡(jiǎn)單的二分類情況尘吗，令為1，有：

帶入權(quán)重則有：

顯然浇坐，其決策邊界是一個(gè)圓睬捶，通過(guò)設(shè)置

有，即優(yōu)化目標(biāo)為類間相似度為0近刘，類內(nèi)相似度為1擒贸。換言之臀晃，我們期望。

至此介劫，circle loss中只有兩個(gè)超參數(shù)徽惋，即與