華為發(fā)表在 ICCV 2019上的NAS文章畔勤，致力于解決在
proxy訓(xùn)練與target測試的模型 depth gap 問題。
動(dòng)機(jī)
如上圖所示藏鹊，在DARTS中，搜索時(shí)候是以 8 cells with 50 epochs 來進(jìn)行的，而evaluate時(shí)卻以 20 cells弛槐，這bias造成了精度大幅度下降教届；而 P-DARTS 以漸進(jìn)的方式 5 cells, 11 cells, 17 cells 分別 25 epochs 來進(jìn)行响鹃，這樣更能接近evaluate時(shí)的情況，故性能也更好案训。
方法
OK买置，你可能會(huì)問，為什么不直接以20 cells 來進(jìn)行搜索呢强霎？好問題忿项，理論上應(yīng)該是可行的，就是太耗memory且容易網(wǎng)絡(luò)架構(gòu)過擬合城舞；那17 cells也很深轩触，memory夠嗎？這也是好問題家夺，P-DARTS其實(shí)就是在解決這個(gè)問題：
如上圖所示脱柱，
(a) cells=5時(shí)，每個(gè)node間有5個(gè)candidate拉馋，當(dāng)訓(xùn)練好了25 epochs后褐捻，會(huì)有對應(yīng)的softmax置信度掸茅。
(b) 接著進(jìn)行 cells=11的搜索，雖然深度加了一倍多柠逞，但這時(shí)每個(gè)node間operation candidate將會(huì)減少接近一半昧狮，即把(a)中最后置信度較低的operation直接delete掉。
(c) 同樣的流程板壮，最后進(jìn)行 cells=17的搜索逗鸣，再砍掉置信度低的一半opeartion。通過這樣的方式來tradeoff depth及memory绰精。
實(shí)驗(yàn)結(jié)果
CIFAR-10
ImageNet
參考
[1] Xin Chen, Lingxi Xie, Jun Wu, Qi Tian, Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation, ICCV, 2019.
