正則化是增強(qiáng)模型泛化能力,減少測(cè)試誤差的策略峦树;它可以在不過度增加偏差的情況下顯著的減少方差辣辫。
- 參數(shù)范數(shù)懲罰
L2范數(shù):w的平均平方和, 也叫weight decay(權(quán)重衰減)空入,絕對(duì)值偏大權(quán)重會(huì)受到更大懲罰络它,使得所有權(quán)重傾向比較小。
L2(或權(quán)重衰減)正則化對(duì)最佳 w 值的影響歪赢。實(shí)線橢圓表示沒有正則化目標(biāo)的等值線。虛線圓圈表示 L2 正則化項(xiàng)的等值線单料。在 w ? 點(diǎn)埋凯,這兩個(gè)競(jìng)爭(zhēng)目標(biāo)達(dá)到平衡。目標(biāo)函數(shù) J 的 Hessian 的第一維特征值很小扫尖。當(dāng)從 w? 水平移動(dòng)時(shí)白对,目標(biāo)函數(shù)不會(huì)增加得太多。因?yàn)槟繕?biāo)函數(shù)對(duì)這個(gè)方向沒 有強(qiáng)烈的偏好换怖,所以正則化項(xiàng)對(duì)該軸具有強(qiáng)烈的影響甩恼。正則化項(xiàng)將 w1 拉向零。而目標(biāo)函數(shù)對(duì)沿著第二維遠(yuǎn)離 w? 的移動(dòng)非常敏感。對(duì)應(yīng)的特征值較大条摸,表示高曲率悦污。因此,權(quán)重衰減對(duì) w2 的位置影響相對(duì)較小钉蒲。
L1范數(shù):w的平均絕對(duì)值之和切端。它會(huì)讓很多權(quán)重變?yōu)?,產(chǎn)生稀疏的解顷啼。 這種特性也導(dǎo)致L1經(jīng)常用在特征選擇上踏枣。
- 作為約束的范數(shù)懲罰
如果我們想約束 Ω(θ) 小于某個(gè)常數(shù) k,我們可以構(gòu)建廣義 Lagrange 函數(shù):
我們可以把參數(shù)范數(shù)懲罰看 作對(duì)權(quán)重強(qiáng)加的約束钙蒙。如果 Ω 是 L2 范數(shù)嘱支,那么權(quán)重就是被約束在一個(gè) L2 球中。如 果 Ω 是 L1 范數(shù)尘奏,那么權(quán)重就是被約束在一個(gè) L1 范數(shù)限制的區(qū)域中恬惯。
正則化和欠約束問題
很多機(jī)器學(xué)習(xí)的方法需要對(duì)X'X是可逆的,但實(shí)際中X'X很可能是個(gè)奇異矩陣烤咧。 正則化的許多形式對(duì)應(yīng)求逆 X'X + aI, 這個(gè)正則化矩陣可以保證是可逆的偏陪。數(shù)據(jù)集增強(qiáng)
讓機(jī)器學(xué)習(xí)模型泛化得更好的最好辦法是使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練。當(dāng)然煮嫌,在 實(shí)踐中笛谦,我們擁有的數(shù)據(jù)量是很有限的。解決這個(gè)問題的一種方法是創(chuàng)建假數(shù)據(jù)并添加到訓(xùn)練集中昌阿。比如:圖片翻轉(zhuǎn)饥脑,剪切,縮放懦冰,旋轉(zhuǎn)等灶轰。噪聲魯棒性
半監(jiān)督學(xué)習(xí)
多任務(wù)學(xué)習(xí)
多任務(wù)學(xué)習(xí)是通過合并幾個(gè)任務(wù)中的樣例(可以視為對(duì)參數(shù)施加的軟約束)來提高泛化的一種方式。額外的訓(xùn)練樣本以同樣的方式將模型的參數(shù)推向泛化更好的方向刷钢,當(dāng)模型的一部分在任務(wù)之間共享時(shí)笋颤,模型的這一部分更多地被約束為良好的值(假設(shè)共享是合理的),往往能更好地泛化内地。提前終止
當(dāng)訓(xùn)練有足夠的表示能力甚至?xí)^擬合的大模型時(shí)伴澄,訓(xùn)練誤差會(huì)隨著時(shí)間的推移逐漸降低但驗(yàn)證集的誤差會(huì)再次上升。這意味著如果我們返回使驗(yàn)證集誤差最低的參數(shù)設(shè)置阱缓,就可以獲得更好的模型 (因此非凌,有希望獲得更好的測(cè)試誤差)。在每次驗(yàn)證集誤差有所改善后荆针,我們存儲(chǔ)模型參數(shù)的副本敞嗡。當(dāng)驗(yàn)證集上的誤差在事先指定的循環(huán)次數(shù)內(nèi)沒有進(jìn)一步改善時(shí)颁糟,算法終止。
參數(shù)綁定和參數(shù)共享
卷積神經(jīng)網(wǎng)絡(luò)就是參數(shù)共享的列子稀疏表示
前文所述的權(quán)重衰減直接懲罰模型參數(shù)喉悴。另一種策略是懲罰神經(jīng)網(wǎng)絡(luò)中的激活 單元棱貌,稀疏化激活單元。這種策略間接地對(duì)模型參數(shù)施加了復(fù)雜懲罰粥惧。Bagging 和其他集成方法
Bagging(bootstrap aggregating)是通過結(jié)合幾個(gè)模型降低泛化誤差的技術(shù)键畴。主要想法是分別訓(xùn)練幾個(gè)不同的模型,然后讓所有模型表決測(cè)試樣例的輸出突雪。這是機(jī)器學(xué)習(xí)中常規(guī)策略的一個(gè)例子起惕,被稱為模型平均(model averaging)。采用這種策略的技術(shù)被稱為集成方法咏删。
模型平均(model averaging)奏效的原因是不同的模型通常不會(huì)在測(cè)試集上產(chǎn) 生完全相同的誤差惹想。
不同的集成方法以不同的方式構(gòu)建集成模型。例如督函,集成的每個(gè)成員可以使用 不同的算法和目標(biāo)函數(shù)訓(xùn)練成完全不同的模型嘀粱。
Bagging是一種允許重復(fù)多次使用同 一種模型、訓(xùn)練算法和目標(biāo)函數(shù)的方法辰狡。具體來說锋叨,Bagging涉及構(gòu)造 k 個(gè)不同的數(shù)據(jù)集。每個(gè)數(shù)據(jù)集從原始數(shù)據(jù)集中重 復(fù)采樣構(gòu)成宛篇,和原始數(shù)據(jù)集具有相同數(shù)量的樣例娃磺。這意味著,每個(gè)數(shù)據(jù)集以高概率 缺少一些來自原始數(shù)據(jù)集的例子叫倍,還包含若干重復(fù)的例子(如果所得訓(xùn)練集與原始數(shù)據(jù)集大小相同)偷卧。模型 i 在數(shù)據(jù)集 i 上訓(xùn)練。每個(gè)數(shù)據(jù)集所含樣本的差異導(dǎo)致了訓(xùn)練模型之間的差異吆倦。
神經(jīng)網(wǎng)絡(luò)的解能達(dá)到足夠多的變化听诸,可以從模型平均中受益 (即使所有模型都在同一數(shù)據(jù)集上訓(xùn)練)。神經(jīng)網(wǎng)絡(luò)中隨機(jī)初始化的差異蚕泽、小批量的隨機(jī)選擇晌梨、 超參數(shù)的差異或不同輸出的非確定性實(shí)現(xiàn)往往足以使得集成中的不同成員具有部分獨(dú)立的誤差。
- Dropout
Dropout(Dropout) 提供了正則化一大類模型的方 法须妻,計(jì)算方便但功能強(qiáng)大派任。在第一種近似下,Dropout可以被認(rèn)為是集成大量深層神 經(jīng)網(wǎng)絡(luò)的實(shí)用Bagging方法璧南。Bagging涉及訓(xùn)練多個(gè)模型,并在每個(gè)測(cè)試樣本上評(píng)估多個(gè)模型师逸。當(dāng)每個(gè)模型都是一個(gè)很大的神經(jīng)網(wǎng)絡(luò)時(shí)司倚,這似乎是不切實(shí)際的,因?yàn)橛?xùn) 練和評(píng)估這樣的網(wǎng)絡(luò)需要花費(fèi)很多運(yùn)行時(shí)間和內(nèi)存。
在Bagging的情況下动知,所有模型都是獨(dú)立的皿伺;Dropout的情況下,所有模型共享參數(shù)盒粮,其中每個(gè)模型繼承父神經(jīng)網(wǎng)絡(luò)參數(shù) 的不同子集鸵鸥。參數(shù)共享使得在有限可用的內(nèi)存下表示指數(shù)級(jí)數(shù)量的模型變得可能。
Dropout優(yōu)點(diǎn):計(jì)算方便丹皱,不限制適用的模型或訓(xùn)練過程妒穴,幾乎在所有使用分布式表示且可以用隨機(jī)梯度下降訓(xùn)練的模型上都表現(xiàn)很好。
因?yàn)镈ropout減少了模型的有效容量摊崭。為了抵消這種影響讼油,我們必須增大模型規(guī)模和更多的訓(xùn)練數(shù)據(jù)。對(duì)于非常大的數(shù)據(jù)集呢簸,正則化帶來的泛化誤差減少得很小矮台,好處有限; 而使用Dropout和更大模型可能超過正則化帶來的好處根时!
同時(shí)也要注意:只有極少的訓(xùn)練樣本時(shí)瘦赫,Dropout不會(huì)很有效。
Dropout可以被看成是一種純粹高效近似Bagging的方法蛤迎。更進(jìn)一步的确虱,Dropout不僅僅是訓(xùn)練一個(gè)Bagging的集成模型,并且是共享隱藏單元的集成模型忘苛。這意味著無論其他隱藏單元是否在模型中蝉娜,每個(gè)隱藏單元必須都能夠表現(xiàn)良好。隱藏單元必須準(zhǔn)備好進(jìn)行模型之間的交換和互換扎唾。Dropout正則化每個(gè)隱藏單元不僅是一個(gè)很好的特征召川,更要在許多情況下是良好的特征。相比獨(dú)立模型Bagging集成獲得泛化誤差胸遇,Dropout會(huì)帶來額外的改進(jìn)荧呐。
- 對(duì)抗訓(xùn)練
在精度達(dá)到人類水平的神經(jīng)網(wǎng)絡(luò)上可以通過優(yōu)化過程故意構(gòu)造數(shù)據(jù)點(diǎn),其上的誤差率接近100%纸镊! 模型在這個(gè)輸入點(diǎn) x′ 的輸出與附近的數(shù)據(jù) 點(diǎn) x 非常不同倍阐。在許多情況下,x′ 與 x 非常近似逗威,人類觀察者不會(huì)察覺原始樣本和對(duì)抗樣本(adversarial example)之間的差異峰搪,但是網(wǎng)絡(luò)會(huì)作出非常不同的預(yù)測(cè)。
- 切面距離凯旭、正切傳播和流形正切分類器