模型的過擬合
將模型在訓(xùn)練數(shù)據(jù)上擬合的比在潛在分布中更接近的現(xiàn)象稱為過擬合（overfitting）卡辰，出現(xiàn)這種現(xiàn)象的主要原因是訓(xùn)練數(shù)據(jù)中存在噪音或者訓(xùn)練數(shù)據(jù)太少拱绑。
可以看出在a中雖然完全的擬合了樣本數(shù)據(jù)，但對(duì)于b中的測(cè)試數(shù)據(jù)分類準(zhǔn)確度很差猎拨。而c雖然沒有完全擬合樣本數(shù)據(jù)，但在d中對(duì)于測(cè)試數(shù)據(jù)的分類準(zhǔn)確度卻很高红省。過擬合問題往往是由于訓(xùn)練數(shù)據(jù)少等原因造成的。
所以解決過擬合的方法之一就是增加數(shù)據(jù)量進(jìn)而增加訓(xùn)練的數(shù)據(jù)量吧恃。除了增加數(shù)據(jù)量以外，還可以通過權(quán)重衰退和dropout來解決這個(gè)問題。
權(quán)重衰退
在訓(xùn)練參數(shù)化機(jī)器學(xué)習(xí)模型時(shí)蝇闭， 權(quán)重衰減（weight decay）是最廣泛使用的正則化的技術(shù)之一， 它通常也被稱為
L2正則化.一種簡(jiǎn)單的方法是通過線性函數(shù) f(x)=wx,中的權(quán)重向量的某個(gè)范數(shù)來度量其復(fù)雜性丁眼， 例如||w||^2
。 要保證權(quán)重向量比較小苞七， 最常用方法是將其范數(shù)作為懲罰項(xiàng)加到最小化損失的問題中。 將原來的訓(xùn)練目標(biāo)最小化訓(xùn)練標(biāo)簽上的預(yù)測(cè)損失蹂风， 調(diào)整為最小化預(yù)測(cè)損失和懲罰項(xiàng)之和。
硬性限制W
使用均方范數(shù)作為硬性限制：直接限制W的范數(shù)小于某個(gè)值
- 通常不限制b惠啄，因?yàn)閎只是影響曲線的上下平移任内，對(duì)曲線的形狀沒有實(shí)際作用撵渡。
- θ越小，意味著這個(gè)正則項(xiàng)越強(qiáng)死嗦。
柔性限制W
性回歸例子趋距。 我們的損失由下式給出：
使用均方范數(shù)作為柔性限制：對(duì)于每個(gè)θ ，都可以找到一個(gè)λ 使得之前的目標(biāo)函數(shù)等價(jià)于下式：
超參數(shù)λ 控制了正則項(xiàng)的重要程度
- λ =0：無作用
-
λ → ∞：表示w*→0
簡(jiǎn)潔實(shí)現(xiàn)
由于權(quán)重衰減在神經(jīng)網(wǎng)絡(luò)優(yōu)化中很常用越除， 深度學(xué)習(xí)框架為了便于我們使用權(quán)重衰減节腐， 將權(quán)重衰減集成到優(yōu)化算法中，以便與任何損失函數(shù)結(jié)合使用摘盆。 此外翼雀，這種集成還有計(jì)算上的好處， 允許在不增加任何額外的計(jì)算開銷的情況下向算法中添加權(quán)重衰減孩擂。 由于更新的權(quán)重衰減部分僅依賴于每個(gè)參數(shù)的當(dāng)前值狼渊， 因此優(yōu)化器必須至少接觸每個(gè)參數(shù)一次。
在下面的代碼中肋殴，我們?cè)趯?shí)例化優(yōu)化器時(shí)直接通過weight_decay指定weight decay超參數(shù)囤锉。 默認(rèn)情況下，PyTorch同時(shí)衰減權(quán)重和偏移护锤。 這里我們只為權(quán)重設(shè)置了weight_decay官地，所以偏置參數(shù)b不會(huì)衰減。
def train_concise(wd):
net = nn.Sequential(nn.Linear(num_inputs, 1))
for param in net.parameters():
param.data.normal_()
loss = nn.MSELoss(reduction='none')
num_epochs, lr = 100, 0.003
# 偏置參數(shù)沒有衰減
trainer = torch.optim.SGD([
{"params":net[0].weight,'weight_decay': wd},
{"params":net[0].bias}], lr=lr)
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
trainer.zero_grad()
l = loss(net(X), y)
l.mean().backward()
trainer.step()
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1,
(d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范數(shù)：', net[0].weight.norm().item())
暫退法（Dropout）
當(dāng)面對(duì)更多的特征而樣本不足時(shí)烙懦，線性模型往往會(huì)過擬合驱入。 相反，當(dāng)給出更多樣本而不是特征，通常線性模型不會(huì)過擬合亏较。 不幸的是莺褒，線性模型泛化的可靠性是有代價(jià)的。 簡(jiǎn)單地說雪情，線性模型沒有考慮到特征之間的交互作用遵岩。 對(duì)于每個(gè)特征，線性模型必須指定正的或負(fù)的權(quán)重巡通，而忽略其他特征尘执。
然后在2014年，斯里瓦斯塔瓦等人 (Srivastava et al., 2014) 就如何將畢曉普的想法應(yīng)用于網(wǎng)絡(luò)的內(nèi)部層提出了一個(gè)想法： 在訓(xùn)練過程中宴凉，他們建議在計(jì)算后續(xù)層之前向網(wǎng)絡(luò)的每一層注入噪聲誊锭。 因?yàn)楫?dāng)訓(xùn)練一個(gè)有多層的深層網(wǎng)絡(luò)時(shí)，注入噪聲只會(huì)在輸入-輸出映射上增強(qiáng)平滑性弥锄。
這個(gè)想法被稱為暫退法（dropout）丧靡。 暫退法在前向傳播過程中，計(jì)算每一內(nèi)部層的同時(shí)注入噪聲籽暇，這已經(jīng)成為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的常用技術(shù)戒悠。 這種方法之所以被稱為暫退法，因?yàn)槲覀儚谋砻嫔峡词窃谟?xùn)練過程中丟棄（drop out）一些神經(jīng)元。 在整個(gè)訓(xùn)練過程的每一次迭代中捏顺，標(biāo)準(zhǔn)暫退法包括在計(jì)算下一層之前將當(dāng)前層中的一些節(jié)點(diǎn)置零幅骄。
在標(biāo)準(zhǔn)暫退法正則化中拆座，通過按保留（未丟棄）的節(jié)點(diǎn)的分?jǐn)?shù)進(jìn)行規(guī)范化來消除每一層的偏差。 換言之孕索，每個(gè)中間活性值h以暫退概率p由隨機(jī)變量h'替換搞旭，如下所示：
根據(jù)此模型的設(shè)計(jì)肄渗，其期望值保持不變翎嫡，即
圖中表示1個(gè)隱藏層和5個(gè)隱藏單元的多層感知機(jī)，當(dāng)我們將暫退法應(yīng)用到隱藏層具伍，以p的概率將隱藏單元置為零時(shí)沿猜， 結(jié)果可以看作一個(gè)只包含原始神經(jīng)元子集的網(wǎng)絡(luò)啼肩。刪除了
簡(jiǎn)潔實(shí)現(xiàn)
對(duì)于深度學(xué)習(xí)框架的高級(jí)API黄刚，我們只需在每個(gè)全連接層之后添加一個(gè)Dropout層， 將暫退概率作為唯一的參數(shù)傳遞給它的構(gòu)造函數(shù)涛救。 在訓(xùn)練時(shí)业扒，Dropout層將根據(jù)指定的暫退概率隨機(jī)丟棄上一層的輸出（相當(dāng)于下一層的輸入）程储。 在測(cè)試時(shí)逆甜，Dropout層僅傳遞數(shù)據(jù)交煞。
net = nn.Sequential(nn.Flatten(),
nn.Linear(784, 256),
nn.ReLU(),
# 在第一個(gè)全連接層之后添加一個(gè)dropout層
nn.Dropout(dropout1),
nn.Linear(256, 256),
nn.ReLU(),
# 在第二個(gè)全連接層之后添加一個(gè)dropout層
nn.Dropout(dropout2),
nn.Linear(256, 10))
def init_weights(m):
if type(m) == nn.Linear:
nn.init.normal_(m.weight, std=0.01)
net.apply(init_weights);
