作者
- DeamoV
- 變身的大惡魔
- 張博涵
在之前的博文中介紹了 NNI 與其他自動機器學(xué)習(xí)工具的比較蜕乡，NNI 的安裝和使用等內(nèi)容，這篇文章你將看到：
- 如何修改 NNI 官方的 mnist-annotation 例子的配置文件刃唐；
- 官方例子支持的 Tuner 介紹；
- 各個 Tuner 的訓(xùn)練結(jié)果以及結(jié)果分析。
一画饥、配置文件
將 NNI 項目 clone 到本地衔瓮，進入到目錄 ~/nni/examples/trials/mnist-annotation ，NNI 有兩種配置方式抖甘，分別為 Annotation 和 Assessor报辱，nni 官方給的例子是用 Annotation 的配置方式（Assessor 可參見官方 experiment 配置參考文檔），配置文件 config.yml 默認(rèn)參數(shù)配置如下：
authorName: default
# authorName 是創(chuàng)建 Experiment 的作者单山。（你自己的名字 o(*￣▽￣*) ブ）
experimentName: example_mnist
# experimentName 是 Experiment 的名稱。
trialConcurrency: 1
# **trialConcurrency** 定義了并行運行的 trails 的數(shù)量幅疼。
# 注意：如果 trialGpuNum 大于空閑的 GPU 數(shù)量米奸，Trial 任務(wù)會被放入隊列，等待分配 GPU 資源爽篷。
maxExecDuration: 1h
# maxExecDuration 定義 Experiment 執(zhí)行的最長時間悴晰。時間單位：{**s**, **m**, **h**, **d**}，分別代表：{*seconds*, *minutes*, *hours*, *days*}逐工。
# 注意：maxExecDuration 設(shè)置的是 Experiment 執(zhí)行的時間铡溪，不是 Trial 的。 如果 Experiment 達到了設(shè)置的最大時間泪喊，Experiment 不會停止棕硫，但不會再啟動新的 Trial 作業(yè)。
maxTrialNum: 10
# maxTrialNum 定義了你此次 Experiment 總共想要 NNI 跑多少 Trial袒啼。
trainingServicePlatform: local
#choice: local, remote, pai
# trainingServicePlatform 定義運行 Experiment 的平臺
# local：在本機的 ubuntu 上運行 Experiment哈扮。
# remote：將任務(wù)提交到遠程的 Ubuntu 上，必須用 **machineList** 來指定遠程的 SSH 連接信息蚓再。
# pai：提交任務(wù)到微軟開源的 OpenPAI 上滑肉。
# kubeflow 提交任務(wù)至 Kubeflow NNI 支持基于 Kubeflow 的 Kubenetes，以及 Azure Kubernetes
useAnnotation: true
#choice: true, false
#定義使用標(biāo)記來分析代碼并生成搜索空間摘仅。（官方例子使用的是 Annotation靶庙，所以 useAnnotation = true）
tuner:
builtinTunerName: TPE
#builtinTunerName 指定了系統(tǒng) Tuner 的名字，NNI SDK 提供了多種 Tuner娃属，如：{TPE, Random, Anneal, Evolution, BatchTuner, GridSearch}六荒。
#choice: TPE, Random, Anneal, Evolution, BatchTuner
#SMAC (SMAC should be installed through nnictl)
classArgs:
#classArgs** 指定了 Tuner 算法的參數(shù)。 如果 builtinTunerName 是{TPE, Random, Anneal, Evolution}矾端，用戶需要設(shè)置 optimize_mode恬吕。
#choice: maximize, minimize
optimize_mode: maximize
trial:
command: python3 mnist.py
codeDir: .
gpuNum: 0
二、tuner 對比實驗
2.1须床、Random
建議場景
在每個 Trial 運行時間不長（例如铐料，能夠非常快的完成，或者很快的被 Assessor 終止）钠惩，并有充足計算資源的情況下柒凉。 或者需要均勻的探索搜索空間。 隨機搜索可作為搜索算法的基準(zhǔn)線篓跛。
參數(shù)
- optimize_mode (maximize 或 minimize膝捞，可選，默認(rèn)值為 maximize) - 如果為 'maximize'愧沟，Tuner 會給出有可能產(chǎn)生較大值的參數(shù)組合蔬咬。 如果為 'minimize'，Tuner 會給出有可能產(chǎn)生較小值的參數(shù)組合沐寺。
使用樣例：
# config.yml
tuner:
builtinTunerName: Random
classArgs:
optimize_mode: maximize
訓(xùn)練結(jié)果：
以下為 Tuner 為 Random林艘，TrialNum 為 30 時的訓(xùn)練結(jié)果，從下圖右下角可以直觀的得出混坞，最大正確率為 98.28%狐援，展開后可看到對應(yīng)的超參值，在 Trails Detail 能夠看到所有 Trails 在不同超參選擇上的分布究孕，便于分析啥酱。
卷積核大小：7×7
隱藏層：512
學(xué)習(xí)率：0.0018762964666695628
激活函數(shù)：ReLU
池化層：最大池化
batch size：32
dropout rate：0.5
結(jié)果分析：
正確率低于 30% 的 trails 隱藏層多數(shù)為 1024厨诸，學(xué)習(xí)率絕大多數(shù)低于 0.001镶殷，激活函數(shù)多數(shù)為 sigmoid。于此同時微酬，正確率高于 90% 的 trails 卷積核大小大部分為 7×7批钠，學(xué)習(xí)率主要分布在 0.001 以下。
根據(jù)以上對結(jié)果的分析得封，可以合理猜測埋心，此模型下設(shè)置卷積核大小為 7×7，學(xué)習(xí)率低于 0.001忙上，激活函數(shù)選用 relu 或 tanh拷呆，就能獲得比較理想的正確率。
2.2疫粥、TPE
建議場景
TPE 是一種黑盒優(yōu)化方法茬斧，可以使用在各種場景中，通常情況下都能得到較好的結(jié)果梗逮。 特別是在計算資源有限项秉，只能運行少量 Trial 的情況。 大量的實驗表明慷彤，TPE 的性能遠遠優(yōu)于隨機搜索娄蔼。
參數(shù)
- optimize_mode (maximize 或 minimize怖喻，可選，默認(rèn)值為 maximize) - 如果為 'maximize'岁诉，Tuner 會給出有可能產(chǎn)生較大值的參數(shù)組合锚沸。 如果為 'minimize'，Tuner 會給出有可能產(chǎn)生較小值的參數(shù)組合涕癣。
使用樣例：
# config.yml
tuner:
builtinTunerName: TPE
classArgs:
optimize_mode: maximize
訓(xùn)練結(jié)果：
以下為 tuner 為 TPE哗蜈，TrialNum 為 30 時的訓(xùn)練結(jié)果，從下圖右下角可以直觀的得出坠韩，最大正確率為 98.13%距潘，展開后可看到對應(yīng)的超參值：
卷積核大小：7×7
隱藏層：1024
學(xué)習(xí)率：0.0005779853380708741
激活函數(shù)：ReLU
池化層：最大池化
batch size：16
dropout rate：0.5
結(jié)果分析：
正確率前 50% 的 trails 隱藏層多數(shù)為 1024只搁，學(xué)習(xí)率全部低于 0.001音比，激活函數(shù)多數(shù)為 relu 和 tanh，卷積核大小大部分為 7×7 和 5×5须蜗。
根據(jù)以上對結(jié)果的分析，可以合理猜測目溉，此模型下設(shè)置卷積核大小為 7×7 或 5×5明肮，學(xué)習(xí)率低于 0.001，激活函數(shù)選用 relu 或 tanh缭付，就能獲得比較理想的正確率柿估。
2.3、Anneal
建議場景
當(dāng)每個 Trial 的時間不長陷猫，并且有足夠的計算資源時使用（與隨機搜索基本相同）秫舌。 或者搜索空間的變量能從一些先驗分布中采樣。
參數(shù)
- optimize_mode (maximize 或 minimize绣檬，可選足陨，默認(rèn)值為 maximize) - 如果為 'maximize'，Tuner 會給出有可能產(chǎn)生較大值的參數(shù)組合娇未。 如果為 'minimize'墨缘，Tuner 會給出有可能產(chǎn)生較小值的參數(shù)組合。
使用樣例：
# config.yml
tuner:
builtinTunerName: Anneal
classArgs:
optimize_mode: maximize
訓(xùn)練結(jié)果：
以下為 tuner 為 Anneal零抬，TrialNum 為 100 時的訓(xùn)練結(jié)果镊讼，從下圖右下角可以直觀的得出，最大正確率為 98.89%平夜，展開后可看到對應(yīng)的超參值：
卷積核大械濉：7×7
隱藏層：512
學(xué)習(xí)率：0.0010559236204399935
激活函數(shù)：ReLU
池化層：最大池化
batch size：32
dropout rate：0.5
結(jié)果分析：
正確率前 20% 的 trails 隱藏層基本分布于 512 和 1024，學(xué)習(xí)率分布在 0.001 左右忽妒，激活函數(shù)為 relu玩裙，卷積核大小大部分為 5×5兼贸。
根據(jù)以上對結(jié)果的分析，可以合理猜測献酗，此模型下設(shè)置卷積核大小為 5×5寝受，學(xué)習(xí)率在 0.001 左右，激活函數(shù)選用 relu罕偎，隱藏層為 1024 或 512很澄，就能獲得比較理想的正確率。
2.4颜及、Evolution
建議場景
此算法對計算資源的需求相對較高甩苛。 需要非常大的初始種群，以免落入局部最優(yōu)中俏站。 如果 Trial 時間很短讯蒲，或者利用了 Assessor，就非常適合此算法肄扎。 如果 Trial 代碼支持權(quán)重遷移墨林，即每次 Trial 會從上一輪繼承已經(jīng)收斂的權(quán)重，建議使用此算法犯祠。 這會大大提高訓(xùn)練速度旭等。
參數(shù)
- optimize_mode (maximize 或 minimize，可選衡载，默認(rèn)值為 maximize) - 如果為 'maximize'搔耕，Tuner 會給出有可能產(chǎn)生較大值的參數(shù)組合。 如果為 'minimize'痰娱，Tuner 會給出有可能產(chǎn)生較小值的參數(shù)組合弃榨。
使用樣例：
# config.yml
tuner:
builtinTunerName: Evolution
classArgs:
optimize_mode: maximize
訓(xùn)練結(jié)果：
以下為 Tuner 為 Evolution，TrialNum 為 30 時的訓(xùn)練結(jié)果梨睁，從下圖右下角可以直觀的得出鲸睛，最大正確率為 98.69%，展開后可看到對應(yīng)的超參值：卷積核大衅潞亍：5×5
隱藏層：512
學(xué)習(xí)率：0.0008152180302834592
激活函數(shù)：tanh
池化層：最大池化
batch size：32
dropout rate：0.5
結(jié)果分析：
正確率前 20% 的 trails 隱藏層多數(shù)分布于 512腊凶，學(xué)習(xí)率分布在 0.001 左右較為集中，激活函數(shù)為 tanh 較為集中拴念，卷積核大小大部分為 5×5 或 3×3钧萍。
根據(jù)以上對結(jié)果的分析，可以合理猜測政鼠，此模型下設(shè)置卷積核大小為 5×5风瘦，學(xué)習(xí)率在 0.001 左右，激活函數(shù)選用 tanh公般，隱藏層為 512万搔，就能獲得比較理想的正確率胡桨。
三、總結(jié)
綜合對比不同 Tuner 的實驗結(jié)果瞬雹，發(fā)現(xiàn)不同的 Tuner 算法得出的超參分布存在一定差異性昧谊，如在使用 Anneal 時準(zhǔn)確率前 20% 的 trails 采用的激活函數(shù)都為 relu，而 Evolution 的實驗中酗捌，這部分 trails 卻是 tanh 居多呢诬。需要思考一下神經(jīng)網(wǎng)絡(luò)模型相同的情況下，是什么導(dǎo)致的這些差異性胖缤。同樣尚镰，我們在對比中也能發(fā)現(xiàn)許多一致性，通過這些一致性能夠?qū)ξ覀兊哪Ｐ驼{(diào)參工作以及對深度學(xué)習(xí)的理解給予一些啟示哪廓。
