神經(jīng)網(wǎng)絡(luò)在進行參數(shù)優(yōu)化的過程中，經(jīng)常需要對學(xué)習(xí)率進行動態(tài)調(diào)整霸琴。那么PyTorch的torch.optim.lr_scheduler接口提供了很多策略實現(xiàn)動態(tài)調(diào)整。我們選取一些常用的進行介紹。
1. torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)
Sets the learning rate of each parameter group to the initial lr times a given function.
這個策略也比較簡單严卖，就是每次調(diào)用scheduler.step()之后烟具，新的lr等于原lr乘lr_lambda梢什。舉例如下，其中network可以換成我們要優(yōu)化的模型：
optim = torch.optim.Adam(network.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.LambdaLR(optim, lambda epoch: epoch)
for epoch in range(10):
optim.step()
scheduler.step()
print(scheduler.get_last_lr())
輸出結(jié)果如下：
[0.001]
[0.002]
[0.003]
[0.004]
[0.005]
[0.006]
[0.007]
[0.008]
[0.009000000000000001]
[0.01]
可以看到每次調(diào)用step之后朝聋，lr = lr * lr_lambda(epoch)嗡午。
2.torch.optim.lr_scheduler.MultiplicativeLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)
Multiply the learning rate of each parameter group by the factor given in the specified function.
這個方法跟LambdaLR類似，都是乘lambda_lr冀痕，不同的是MultiplicativeLR是用上一步得到的lr荔睹，而LambdaLR用的始終是初始的lr。
optim = torch.optim.Adam(network.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.MultiplicativeLR(optim, lambda epoch: 0.5)
for epoch in range(10):
optim.step()
scheduler.step()
print(scheduler.get_last_lr())
結(jié)果如下：
[0.0005]
[0.00025]
[0.000125]
[6.25e-05]
[3.125e-05]
[1.5625e-05]
[7.8125e-06]
[3.90625e-06]
[1.953125e-06]
[9.765625e-07]
3. torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=- 1, verbose=False)
Decays the learning rate of each parameter group by gamma every step_size epochs.
每間隔step_size個epoch金度，對lr執(zhí)行一次乘 gamma操作应媚。
optim = torch.optim.Adam(network.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.StepLR(optim, step_size=5, gamma=0.1)
for i, epoch in enumerate(range(20)):
optim.step()
scheduler.step()
print(i, scheduler.get_last_lr())
結(jié)果如下：
0 [0.001]
1 [0.001]
2 [0.001]
3 [0.001]
4 [0.0001]
5 [0.0001]
6 [0.0001]
7 [0.0001]
8 [0.0001]
9 [1e-05]
10 [1e-05]
11 [1e-05]
12 [1e-05]
13 [1e-05]
14 [1.0000000000000002e-06]
15 [1.0000000000000002e-06]
16 [1.0000000000000002e-06]
17 [1.0000000000000002e-06]
18 [1.0000000000000002e-06]
19 [1.0000000000000002e-07]
4. torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=- 1, verbose=False)
Decays the learning rate of each parameter group by gamma once the number of epoch reaches one of the milestones.
StepLR是等間隔的調(diào)整lr， 而MultiStepLR是根據(jù)指定間隔進行調(diào)整猜极，milestones即為自定義的間隔中姜。
optim = torch.optim.Adam(network.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.MultiStepLR(optim, milestones=[2,6], gamma=0.1)
for i, epoch in enumerate(range(10)):
optim.step()
scheduler.step()
print(i, scheduler.get_last_lr())
結(jié)果如下，可以看到分別在第二步和第六步進行了兩次學(xué)習(xí)率的調(diào)整。
0 [0.001]
1 [0.0001]
2 [0.0001]
3 [0.0001]
4 [0.0001]
5 [1e-05]
6 [1e-05]
7 [1e-05]
8 [1e-05]
9 [1e-05]
5.torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=- 1, verbose=False)
Decays the learning rate of each parameter group by gamma every epoch.
簡單講就是按照如下規(guī)則進行l(wèi)r的更新： lr=lr?gamma??epoch
6. torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=- 1, verbose=False)
余弦退火策略丢胚。以余弦函數(shù)為周期翩瓜，并在每個周期最大值時重新設(shè)置學(xué)習(xí)率。以初始學(xué)習(xí)率為最大學(xué)習(xí)率携龟，以2?Tmax 為周期兔跌，在一個周期內(nèi)先下降，后上升峡蟋。
其中eta_min指一個周期內(nèi)的最小學(xué)習(xí)率坟桅。
7. torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08, verbose=False)
這是個超級實用的學(xué)習(xí)率調(diào)整策略。他會監(jiān)測一個指標蕊蝗，當這個指標不在下降或提高是仅乓，進行學(xué)習(xí)率更新，否則保持學(xué)習(xí)率不變蓬戚。每次step需要傳入要監(jiān)測的指標夸楣。
Reduce learning rate when a metric has stopped improving.
val_loss = validate(...)
scheduler.step(val_loss)
這里要注意的是step的參數(shù)，如果是越小越好子漩，如loss豫喧，需要將mode設(shè)置成'min'，如果是越大越好的指標幢泼，如Accuracy紧显，需要將mode設(shè)置成'max'。
