[Paper Share - 1]Neural Architecture Search With Reinforcement Learning

導(dǎo)讀
ICLR2017退腥,論文的主題是如何用一個(gè)RNN通過(guò)強(qiáng)化學(xué)習(xí)生成一個(gè)效果不錯(cuò)的CNN結(jié)構(gòu)或者一個(gè)新的Recurrent Cell。文章的效果不算特別明顯再榄,但是思路可以借鑒狡刘。
https://arxiv.org/abs/1611.01578

1.總體思想

圖1

如圖一,左邊遞歸網(wǎng)絡(luò)(控制器)給出一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)困鸥,該網(wǎng)絡(luò)結(jié)構(gòu)的概率為P嗅蔬。右側(cè),對(duì)這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練疾就,并在驗(yàn)證集上進(jìn)行測(cè)試澜术,得到精度為R。這時(shí)虐译,將R反饋給左側(cè)控制器瘪板,通過(guò)強(qiáng)化學(xué)習(xí)更新控制器的參數(shù)吴趴,使得控制器對(duì)R大的網(wǎng)絡(luò)結(jié)構(gòu)給出更大的概率漆诽。

2.相關(guān)工作

文中提到,當(dāng)前有些方法也進(jìn)行相應(yīng)的研究锣枝,但是他們只能在固定長(zhǎng)度的空間中搜索厢拭。而用貝葉斯的方法,可以搜索可變長(zhǎng)度的空間撇叁,但是泛化能力和靈活性沒(méi)有本文的好供鸠。

3.方法

3.1 控制器
圖2

對(duì)于某一層,控制器可以預(yù)測(cè)該層的filter width陨闹,filter height楞捂,stride height薄坏,stride width,filter的個(gè)數(shù)寨闹,每一個(gè)預(yù)測(cè)都是通過(guò)softmax分類胶坠,并作為下一個(gè)預(yù)測(cè)的輸入。實(shí)驗(yàn)中的停止條件是繁堡,層的個(gè)數(shù)超過(guò)了某個(gè)指定的數(shù)值沈善。當(dāng)然這個(gè)數(shù)值在訓(xùn)練的過(guò)程中也可以變化。

3.2用增強(qiáng)學(xué)習(xí)進(jìn)行訓(xùn)練

優(yōu)化的方向是椭蹄,讓我們的控制器得到最好的獎(jiǎng)勵(lì)闻牡。也就是說(shuō),控制器給出的網(wǎng)絡(luò)結(jié)構(gòu)越好绳矩,那么反饋的R越大罩润,這相當(dāng)于給的獎(jiǎng)勵(lì)越好。目標(biāo)函數(shù)是


目標(biāo)函數(shù)

但是這個(gè)目標(biāo)函數(shù)的R是不可微的翼馆,需要使用policy gradient method取進(jìn)行優(yōu)化哨啃。他的近似解為:


近似解

為了減少方差,作者對(duì)上面的無(wú)偏估計(jì)做了寫改變写妥。
改進(jìn)的近似解

這個(gè)解仍然是無(wú)偏估計(jì)拳球。
作者還介紹了多個(gè)GPU分布式訓(xùn)練的一些操作,此處省去珍特,我們關(guān)注思想祝峻。

3.3增加結(jié)構(gòu)的靈活性

上面提到的控制器的搜索空間其實(shí)不包括skip connections,或者類似于GoogleNet和ResNet的旁支扎筒。所以莱找,作者增加了這些連接方式去擴(kuò)大控制器的搜索空間。


attention

使用attention機(jī)制嗜桌。等式表示第i層輸入到j(luò)層的概率奥溺。
改進(jìn)后的控制器如下:


改進(jìn)后的控制器

當(dāng)然,有了skip connections之后會(huì)有寫問(wèn)題骨宠。比如浮定,輸入的大小不一,或者某些層根本沒(méi)有輸入或者輸出层亿。作者提出了他的處理方法:
  • 1.如果一個(gè)層沒(méi)有輸入桦卒,那么就把圖片作為輸入
  • 2.最后一層,把所有沒(méi)有被鏈接的層的輸出concat起來(lái)匿又。然后輸入分類器方灾。
  • 3.如果兩個(gè)concat的層的大小不一致,則小的補(bǔ)0.
    當(dāng)然還可以加入其他更加高級(jí)的操作碌更。
3.4生成遞歸單元(recurrent cell)

這一章中裕偿,作者對(duì)上面的控制器進(jìn)行了修改洞慎,用來(lái)生成遞歸單元,其實(shí)就是RNN的單元嘿棘。只不過(guò)拢蛋,這個(gè)和經(jīng)典的不太一樣。經(jīng)典的遞歸單元是:


基礎(chǔ)遞歸單元

作者把遞歸單元看做成一棵樹蔫巩,xt和ht-1是輸入谆棱,ht是輸出≡沧校控制器需要預(yù)測(cè)樹的每個(gè)節(jié)點(diǎn)用什么鏈接方式:addition, elementwise multiplication,etc或者激活函數(shù):tanh, sigmoid, etc垃瞧。下面是個(gè)例子。


遞歸單元生成

然后下面對(duì)應(yīng)的是生成步驟坪郭,我直接貼圖了个从。我們對(duì)照公式和上圖看下,很清晰歪沃。


步驟

4.實(shí)驗(yàn)

驗(yàn)證生成CNN數(shù)據(jù)集:CIFAR-10
驗(yàn)證生成RNN的遞歸單元:Penn Treebank
數(shù)據(jù)預(yù)處理:作者對(duì)圖片做了白化嗦锐,還有放大隨機(jī)crop,還有翻轉(zhuǎn)沪曙。
搜索空間:對(duì)于CNN層:filter height [1,3,5,7], filter width [1,3,5,7] ,濾波器個(gè)數(shù)[24,36,48,64]奕污,步長(zhǎng)方面作者進(jìn)行了兩組實(shí)驗(yàn),固定為1液走,和可預(yù)測(cè)為[1,2,3]碳默。
訓(xùn)練過(guò)程:控制器是兩層的LSTM,每層有35個(gè)隱藏單元缘眶。作者說(shuō)嘱根,他們用了800個(gè)GPU,同時(shí)訓(xùn)練800個(gè)網(wǎng)絡(luò)巷懈。(驚嘆该抒,google就是牛。)
實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)結(jié)果我就不在啰嗦了顶燕,有一點(diǎn)點(diǎn)提升吧凑保。這個(gè)作者后來(lái)又出了一篇新文章,還沒(méi)看割岛,這邊文章的結(jié)果已經(jīng)沒(méi)啥參考價(jià)值了愉适。所以我說(shuō)說(shuō)一點(diǎn)有意思的地方:
對(duì)于CNN的生成,論文附錄貼了一個(gè)這樣的圖癣漆,下圖中的網(wǎng)絡(luò)在精度和深度之間達(dá)到不錯(cuò)的平衡。有意思的是剂买,網(wǎng)絡(luò)有不少濾波器是矩形的惠爽,而不是我們常用的正方形癌蓖。而,更有意思的是婚肆,層越深租副,網(wǎng)絡(luò)偏向于用更大的卷積核。

生成的一個(gè)CNN

還有生成的RNN遞歸單元:
生成的RNN遞歸單元

好了较性,今晚的Paper Reading就分享到這里用僧。雖然你五分鐘看完了,卻花了我一個(gè)小時(shí)編寫赞咙。有什么錯(cuò)誤或者理解錯(cuò)的地方责循,一定要告訴我哇,攀操,院仿,反正我也不會(huì)改的。哈哈哈速和。歹垫。。下期颠放,我將會(huì)繼續(xù)分享排惨,該作者的另外一篇關(guān)于用網(wǎng)絡(luò)生成網(wǎng)絡(luò)的論文 1707.07012-Learning Transferable Architectures for Scalable Image Recognition。敬請(qǐng)期待碰凶。Good Night若贮。

2017.11.26 在深圳

轉(zhuǎn)載注明下出處唄。http://www.reibang.com/p/3192f157d067

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末痒留,一起剝皮案震驚了整個(gè)濱河市谴麦,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌伸头,老刑警劉巖匾效,帶你破解...
    沈念sama閱讀 222,946評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異恤磷,居然都是意外死亡面哼,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門扫步,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)魔策,“玉大人,你說(shuō)我怎么就攤上這事河胎〈程唬” “怎么了?”我有些...
    開封第一講書人閱讀 169,716評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)政敢。 經(jīng)常有香客問(wèn)我其徙,道長(zhǎng),這世上最難降的妖魔是什么喷户? 我笑而不...
    開封第一講書人閱讀 60,222評(píng)論 1 300
  • 正文 為了忘掉前任唾那,我火速辦了婚禮,結(jié)果婚禮上褪尝,老公的妹妹穿的比我還像新娘闹获。我一直安慰自己,他們只是感情好河哑,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,223評(píng)論 6 398
  • 文/花漫 我一把揭開白布避诽。 她就那樣靜靜地躺著,像睡著了一般灾馒。 火紅的嫁衣襯著肌膚如雪茎用。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,807評(píng)論 1 314
  • 那天睬罗,我揣著相機(jī)與錄音轨功,去河邊找鬼。 笑死容达,一個(gè)胖子當(dāng)著我的面吹牛古涧,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播花盐,決...
    沈念sama閱讀 41,235評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼羡滑,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了算芯?” 一聲冷哼從身側(cè)響起柒昏,我...
    開封第一講書人閱讀 40,189評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎熙揍,沒(méi)想到半個(gè)月后职祷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,712評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡届囚,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,775評(píng)論 3 343
  • 正文 我和宋清朗相戀三年有梆,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片意系。...
    茶點(diǎn)故事閱讀 40,926評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡泥耀,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蛔添,到底是詐尸還是另有隱情痰催,我是刑警寧澤兜辞,帶...
    沈念sama閱讀 36,580評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站陨囊,受9級(jí)特大地震影響弦疮,放射性物質(zhì)發(fā)生泄漏夹攒。R本人自食惡果不足惜蜘醋,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,259評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望咏尝。 院中可真熱鬧压语,春花似錦、人聲如沸编检。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春获询,著一層夾襖步出監(jiān)牢的瞬間蜓肆,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工悄雅, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,368評(píng)論 3 379
  • 正文 我出身青樓递雀,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親蚀浆。 傳聞我的和親對(duì)象是個(gè)殘疾皇子缀程,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,930評(píng)論 2 361