學號：16069130022? ? ? ? 姓名：李鳳儀

鏈接：http://mp.weixin.qq.com/s/AVvno0FtMMK6E1cCeTjzyg

【嵌牛導讀】

經(jīng)常被人忽略的是，神經(jīng)網(wǎng)絡(luò)的成功是在特定的應(yīng)用情景下所取得

【嵌牛鼻子】

我們介紹了一種新的訓練神經(jīng)網(wǎng)絡(luò)的方法术浪，這種方法能夠幫助研究者快速地選擇最適用于此任務(wù)的超參數(shù)和模型

【嵌牛提問】

該技術(shù)是兩種最常用的超參數(shù)優(yōu)化方法的混合體：隨機搜索和手動微調(diào)法

【嵌牛正文】

從圍棋寿酌、Atari游戲到圖像識別、語言翻譯領(lǐng)域醇疼，神經(jīng)網(wǎng)絡(luò)都已經(jīng)取得了重大的突破。但是倔毙，經(jīng)常被人忽略的是乙濒，神經(jīng)網(wǎng)絡(luò)的成功是在特定的應(yīng)用情景下所取得，這些情景通常是在一系列研究的開始就確定好了的設(shè)置琉兜，包括所使用的神經(jīng)網(wǎng)絡(luò)的類型，所使用的數(shù)據(jù)以及訓練的方法等廊散。如今梧疲，這些設(shè)置允睹，也被稱為超參數(shù)运准，通崇允埽可以通過經(jīng)驗，隨機搜索或者大規(guī)模的研究過程來決定韭畸。

在最新發(fā)表的文章中蔓搞，我們介紹了一種新的訓練神經(jīng)網(wǎng)絡(luò)的方法，這種方法能夠幫助研究者快速地選擇最適用于此任務(wù)的超參數(shù)和模型喂分。

這種技術(shù)，被稱為基于種群的訓練方法(PBT)甘萧，能夠同時訓練并優(yōu)化一些的神經(jīng)網(wǎng)絡(luò)梆掸，以便快速地尋找到最佳的網(wǎng)絡(luò)配置。更重要地是沥潭，這種方法不會增加計算的成本，能夠像傳統(tǒng)方法那樣快速地得到結(jié)果钝鸽，還能很容易地整合到現(xiàn)有的機器學習方法中。

該技術(shù)是兩種最常用的超參數(shù)優(yōu)化方法的混合體：隨機搜索和手動微調(diào)法因谎。

在隨機搜索法中颜懊，一群神經(jīng)網(wǎng)絡(luò)會被同時獨立地訓練，并在訓練結(jié)束后選出訓練性能最佳的那個模型河爹。通常情況下，只有很少一部分的神經(jīng)網(wǎng)絡(luò)訓練后能夠得到良好的超參數(shù)配置夷恍，而絕大部分神經(jīng)網(wǎng)絡(luò)訓練后得到的超參數(shù)都是不良的媳维，這無疑是在浪費計算力資源遏暴。

超參數(shù)的隨機搜索法指黎，就是同時獨立地訓練多種超參數(shù)。有些超參數(shù)會使得模型表現(xiàn)出好的性能醋安，而有些則不會。

使用手動微調(diào)法盖灸，研究者必須要推測到最佳的超參數(shù)設(shè)置磺芭，使用它們來訓練模型并評估模型的性能醉箕。這步驟需要反復(fù)的進行，直到得到令人滿意的網(wǎng)絡(luò)性能讥裤。盡管這樣能夠得到較好的性能，但這種方法的弊端就是需要消耗很長的時間间螟，有時候需要花費數(shù)周甚至數(shù)月的時間才能得到良好的超參數(shù)設(shè)置损肛。此外，雖然存在一些方法能夠自動進行微調(diào)步驟治拿，如貝葉斯優(yōu)化，它仍需要花費很長的時間劫谅，并要連續(xù)多次地訓練模型，才能得來得到最佳的超參數(shù)設(shè)置荞驴。

諸如手動微調(diào)和貝葉斯優(yōu)化的方法贯城，都是通過連續(xù)地多次訓練過程來對超參數(shù)做出調(diào)整，這使得這些方法變得耗時孙蒙。

基于種群的訓練方法项棠，和隨機搜索法一樣挎峦，可以用隨機超參數(shù)來同時訓練多個神經(jīng)網(wǎng)絡(luò)。但不同于網(wǎng)絡(luò)的獨立訓練透典，它使用剩余種群的信息來改善超參數(shù)顿苇，并對有前景的模型分配進行資源計算。這是從遺傳算法中得到的靈感纪岁，種群中的每個成員稱為工人，它們能夠從種群的剩余部分中挖掘出信息漩氨。例如遗增，一個工人可以復(fù)制另一個工人的模型參數(shù)，也可以隨機改變參數(shù)當前值來探索新的超參數(shù)配置做修。

隨著種群神經(jīng)網(wǎng)絡(luò)的訓練進行，周期性地挖掘和探索超參數(shù)配置蔗坯，能確保種群里所有的工人能夠有一個好的基礎(chǔ)性能旋炒，并且新的超參數(shù)都能夠被探索到。這意味著基于種群的訓練方法能夠快速地挖掘到良好的超參數(shù)瘫镇，從而集中訓練更有前途的模型。更重要的是谚咬，它能夠在訓練過程適應(yīng)超參數(shù)的值尚粘，自動學習到最好的超參數(shù)配置。

基于種群的神經(jīng)網(wǎng)絡(luò)訓練方法，像隨機搜索法一樣開始訓練祈噪，還能允許一個工人挖掘其他工人的部分結(jié)果并在訓練過程探索新的超參數(shù)尚辑。

我們的實驗表明，基于種群的訓練方法在大量的任務(wù)和領(lǐng)域都表現(xiàn)出非常高效的性能杠茬。例如，我們嚴格地在一系列充滿挑戰(zhàn)性的強化學習問題上測試了我們的算法宁赤，如DeepMind實驗室最先進的方法栓票，雅達利(Atari)和星際爭霸2(StarCraft II)。所有的情況下走贪，基于種群的訓練方法都能夠穩(wěn)定地訓練，快速地發(fā)現(xiàn)良好的超參數(shù)，并能得到超越當前最佳基準的結(jié)果强衡。

我們還發(fā)現(xiàn)，基于種群的訓練方法能夠更有效地訓練生成對抗網(wǎng)絡(luò)感挥。這是個眾所周知很難進行微調(diào)的難題越败。具體地說，我們使用基于種群的訓練框架來最大化Inception Score值究飞，一種視覺保真度的度量。對此媒峡，結(jié)果有顯著的改善葵擎，Inception Score值從6.45增至6.9。

我們還將該算法應(yīng)用到Google的一個最先進的用于機器翻譯的神經(jīng)網(wǎng)絡(luò)，這個神經(jīng)網(wǎng)絡(luò)通常需要花費數(shù)月的訓練時間寓涨，才能在訓練過程認真地手動微調(diào)超參數(shù)配置來得到最佳的模型性能氯檐。利用基于種群的訓練方法，我們能夠自動發(fā)現(xiàn)超參數(shù)配置男摧，得到能夠匹配于甚至超過當前性能的結(jié)果而不需要做任何調(diào)整，同時還只需要一個單一的訓練過程就能得到結(jié)果耗拓。

運用種群算法，我們在CIFAR-10數(shù)據(jù)庫訓練GANs和Ms Pacman數(shù)據(jù)庫訓練Feudal Networks (FuN)的變化情況樟插。粉紅色的點代表初始狀態(tài)竿刁，藍色的店則代表最終狀態(tài)。

我們相信這僅僅是該技術(shù)的一個開始食拜。在DeepMind，我們還發(fā)現(xiàn)基于種群的訓練方法在訓練新算法和新增超參數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面特別有用流强。在進一步改善過程中呻待，基于種群的訓練方法將在發(fā)現(xiàn)和發(fā)展更復(fù)雜、更有用的神經(jīng)網(wǎng)絡(luò)模型方面蚕捉，擁有更有的可能性。

這項工作由Max Jaderberg, Valentin Dalibard, Simon Osindero, Wojciech M. Czarnecki, Jeff Donahue, Ali Razavi, Oriol Vinyals, Tim Green, Iain Dunning, Karen Simonyan, Chrisantha Fernando and? Koray Kavukcuoglu完成秘通。

原文鏈接:

https://deepmind.com/blog/population-based-training-neural-networks/

資