NNI Tuner對(duì)比
- TPE
目前AutoML/NAS領(lǐng)域較常用的一種Tuner，適用于評(píng)估函數(shù)開銷較大帖旨、搜索空間較大的場(chǎng)景箕昭，相比Random/Grid Search等暴力搜索方法，能夠在搜索空間較大的應(yīng)用場(chǎng)景下搜索出較為理想的參數(shù)解阅。其缺點(diǎn)是需要尋找合適的概率模型落竹。
-
Random Search
隨機(jī)搜索，適用于對(duì)參數(shù)先驗(yàn)信息未知货抄，且搜索空間較小的場(chǎng)景述召，算法簡單方便，能夠在一些較為簡單的任務(wù)上得到比較理想的結(jié)果碉熄，缺點(diǎn)也十分明顯桨武，無法改進(jìn)之前的搜索結(jié)果，得到更理想的參數(shù)锈津。
-
Anneal
與Random Search一樣是隨機(jī)化搜索呀酸，不同的是在時(shí)間上較近的搜索結(jié)果和歷次最好的搜索結(jié)果的基礎(chǔ)上進(jìn)行采樣。其優(yōu)點(diǎn)是能夠改進(jìn)Random Search的結(jié)果琼梆，比Random Search更快得到理想的參數(shù)性誉。
-
Evolution
遺傳算法窿吩，由于其緩慢的參數(shù)步進(jìn)過程，適用于搜索空間較小的場(chǎng)景错览，但通常能達(dá)到較理想的參數(shù)纫雁。
-
SMAC
同樣也是SMBO算法的一種，在序列模型上引入了高斯隨機(jī)過程的模型和基于隨機(jī)森林的模型倾哺，能夠同時(shí)處理連續(xù)數(shù)值型參數(shù)和離散類別型參數(shù)轧邪。
-
Batch Tuner
只能對(duì)搜索空間里顯式定義的參數(shù)進(jìn)行逐個(gè)遍歷搜索。適用于搜索空間極小的場(chǎng)景羞海，不適用于連續(xù)數(shù)值型分布的參數(shù)忌愚。
-
Grid Search
窮舉法，只能搜索離散類別型參數(shù)却邓，適用于搜索空間較小硕糊，模型訓(xùn)練/評(píng)估開銷較小的場(chǎng)景。
-
Hyperband
在訓(xùn)練的時(shí)候只迭代一定的次數(shù)腊徙，新的一輪訓(xùn)練在上一輪較為理想的參數(shù)上進(jìn)一步訓(xùn)練简十。其設(shè)計(jì)是為了能夠盡可能地遍歷所有參數(shù)組合，適用于搜索空間較大但時(shí)間開銷較為有限的場(chǎng)景撬腾。
-
Network Morphism
類似于遺傳算法的思想螟蝙，每次基于父代產(chǎn)生一組子代，然后基于歷次搜索過的網(wǎng)絡(luò)結(jié)構(gòu)和對(duì)應(yīng)的評(píng)估值來預(yù)測(cè)子代的評(píng)估值民傻，選出最理想的一個(gè)子代進(jìn)行訓(xùn)練胶逢。適用于DL場(chǎng)景，能夠較為穩(wěn)定地搜索得到一組理想的參數(shù)饰潜，由于訓(xùn)練之前會(huì)進(jìn)行一輪較為仔細(xì)的預(yù)測(cè)選擇，避免了多次訓(xùn)練DL模型較大的開銷和簸。
