《深度學(xué)習(xí)》之第七章正則化

正則化是增強(qiáng)模型泛化能力,減少測(cè)試誤差的策略峦树;它可以在不過度增加偏差的情況下顯著的減少方差辣辫。

  1. 參數(shù)范數(shù)懲罰
參數(shù)范數(shù)懲罰正則化

L2范數(shù):w的平均平方和, 也叫weight decay(權(quán)重衰減)空入,絕對(duì)值偏大權(quán)重會(huì)受到更大懲罰络它,使得所有權(quán)重傾向比較小。

L2范數(shù)正則化的理解

L2(或權(quán)重衰減)正則化對(duì)最佳 w 值的影響歪赢。實(shí)線橢圓表示沒有正則化目標(biāo)的等值線。虛線圓圈表示 L2 正則化項(xiàng)的等值線单料。在 w ? 點(diǎn)埋凯,這兩個(gè)競(jìng)爭(zhēng)目標(biāo)達(dá)到平衡。目標(biāo)函數(shù) J 的 Hessian 的第一維特征值很小扫尖。當(dāng)從 w? 水平移動(dòng)時(shí)白对,目標(biāo)函數(shù)不會(huì)增加得太多。因?yàn)槟繕?biāo)函數(shù)對(duì)這個(gè)方向沒 有強(qiáng)烈的偏好换怖,所以正則化項(xiàng)對(duì)該軸具有強(qiáng)烈的影響甩恼。正則化項(xiàng)將 w1 拉向零。而目標(biāo)函數(shù)對(duì)沿著第二維遠(yuǎn)離 w? 的移動(dòng)非常敏感。對(duì)應(yīng)的特征值較大条摸,表示高曲率悦污。因此,權(quán)重衰減對(duì) w2 的位置影響相對(duì)較小钉蒲。

L1范數(shù):w的平均絕對(duì)值之和切端。它會(huì)讓很多權(quán)重變?yōu)?,產(chǎn)生稀疏的解顷啼。 這種特性也導(dǎo)致L1經(jīng)常用在特征選擇上踏枣。

  1. 作為約束的范數(shù)懲罰

如果我們想約束 Ω(θ) 小于某個(gè)常數(shù) k,我們可以構(gòu)建廣義 Lagrange 函數(shù):

帶條件的約束的目標(biāo)函數(shù)

我們可以把參數(shù)范數(shù)懲罰看 作對(duì)權(quán)重強(qiáng)加的約束钙蒙。如果 Ω 是 L2 范數(shù)嘱支,那么權(quán)重就是被約束在一個(gè) L2 球中。如 果 Ω 是 L1 范數(shù)尘奏,那么權(quán)重就是被約束在一個(gè) L1 范數(shù)限制的區(qū)域中恬惯。

  1. 正則化和欠約束問題
    很多機(jī)器學(xué)習(xí)的方法需要對(duì)X'X是可逆的,但實(shí)際中X'X很可能是個(gè)奇異矩陣烤咧。 正則化的許多形式對(duì)應(yīng)求逆 X'X + aI, 這個(gè)正則化矩陣可以保證是可逆的偏陪。

  2. 數(shù)據(jù)集增強(qiáng)
    讓機(jī)器學(xué)習(xí)模型泛化得更好的最好辦法是使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練。當(dāng)然煮嫌,在 實(shí)踐中笛谦,我們擁有的數(shù)據(jù)量是很有限的。解決這個(gè)問題的一種方法是創(chuàng)建假數(shù)據(jù)并添加到訓(xùn)練集中昌阿。比如:圖片翻轉(zhuǎn)饥脑,剪切,縮放懦冰,旋轉(zhuǎn)等灶轰。

  3. 噪聲魯棒性

  4. 半監(jiān)督學(xué)習(xí)

  5. 多任務(wù)學(xué)習(xí)
    多任務(wù)學(xué)習(xí)是通過合并幾個(gè)任務(wù)中的樣例(可以視為對(duì)參數(shù)施加的軟約束)來提高泛化的一種方式。額外的訓(xùn)練樣本以同樣的方式將模型的參數(shù)推向泛化更好的方向刷钢,當(dāng)模型的一部分在任務(wù)之間共享時(shí)笋颤,模型的這一部分更多地被約束為良好的值(假設(shè)共享是合理的),往往能更好地泛化内地。

  6. 提前終止
    當(dāng)訓(xùn)練有足夠的表示能力甚至?xí)^擬合的大模型時(shí)伴澄,訓(xùn)練誤差會(huì)隨著時(shí)間的推移逐漸降低但驗(yàn)證集的誤差會(huì)再次上升。這意味著如果我們返回使驗(yàn)證集誤差最低的參數(shù)設(shè)置阱缓,就可以獲得更好的模型 (因此非凌,有希望獲得更好的測(cè)試誤差)。在每次驗(yàn)證集誤差有所改善后荆针,我們存儲(chǔ)模型參數(shù)的副本敞嗡。當(dāng)驗(yàn)證集上的誤差在事先指定的循環(huán)次數(shù)內(nèi)沒有進(jìn)一步改善時(shí)颁糟,算法終止。

提前終止的訓(xùn)練示意圖
  1. 參數(shù)綁定和參數(shù)共享
    卷積神經(jīng)網(wǎng)絡(luò)就是參數(shù)共享的列子

  2. 稀疏表示
    前文所述的權(quán)重衰減直接懲罰模型參數(shù)喉悴。另一種策略是懲罰神經(jīng)網(wǎng)絡(luò)中的激活 單元棱貌,稀疏化激活單元。這種策略間接地對(duì)模型參數(shù)施加了復(fù)雜懲罰粥惧。

  3. Bagging 和其他集成方法
    Bagging(bootstrap aggregating)是通過結(jié)合幾個(gè)模型降低泛化誤差的技術(shù)键畴。主要想法是分別訓(xùn)練幾個(gè)不同的模型,然后讓所有模型表決測(cè)試樣例的輸出突雪。這是機(jī)器學(xué)習(xí)中常規(guī)策略的一個(gè)例子起惕,被稱為模型平均(model averaging)。采用這種策略的技術(shù)被稱為集成方法咏删。
    模型平均(model averaging)奏效的原因是不同的模型通常不會(huì)在測(cè)試集上產(chǎn) 生完全相同的誤差惹想。

不同的集成方法以不同的方式構(gòu)建集成模型。例如督函,集成的每個(gè)成員可以使用 不同的算法和目標(biāo)函數(shù)訓(xùn)練成完全不同的模型嘀粱。
Bagging是一種允許重復(fù)多次使用同 一種模型、訓(xùn)練算法和目標(biāo)函數(shù)的方法辰狡。具體來說锋叨,Bagging涉及構(gòu)造 k 個(gè)不同的數(shù)據(jù)集。每個(gè)數(shù)據(jù)集從原始數(shù)據(jù)集中重 復(fù)采樣構(gòu)成宛篇,和原始數(shù)據(jù)集具有相同數(shù)量的樣例娃磺。這意味著,每個(gè)數(shù)據(jù)集以高概率 缺少一些來自原始數(shù)據(jù)集的例子叫倍,還包含若干重復(fù)的例子(如果所得訓(xùn)練集與原始數(shù)據(jù)集大小相同)偷卧。模型 i 在數(shù)據(jù)集 i 上訓(xùn)練。每個(gè)數(shù)據(jù)集所含樣本的差異導(dǎo)致了訓(xùn)練模型之間的差異吆倦。

神經(jīng)網(wǎng)絡(luò)的解能達(dá)到足夠多的變化听诸,可以從模型平均中受益 (即使所有模型都在同一數(shù)據(jù)集上訓(xùn)練)。神經(jīng)網(wǎng)絡(luò)中隨機(jī)初始化的差異蚕泽、小批量的隨機(jī)選擇晌梨、 超參數(shù)的差異或不同輸出的非確定性實(shí)現(xiàn)往往足以使得集成中的不同成員具有部分獨(dú)立的誤差。

  1. Dropout
    Dropout(Dropout) 提供了正則化一大類模型的方 法须妻,計(jì)算方便但功能強(qiáng)大派任。在第一種近似下,Dropout可以被認(rèn)為是集成大量深層神 經(jīng)網(wǎng)絡(luò)的實(shí)用Bagging方法璧南。Bagging涉及訓(xùn)練多個(gè)模型,并在每個(gè)測(cè)試樣本上評(píng)估多個(gè)模型师逸。當(dāng)每個(gè)模型都是一個(gè)很大的神經(jīng)網(wǎng)絡(luò)時(shí)司倚,這似乎是不切實(shí)際的,因?yàn)橛?xùn) 練和評(píng)估這樣的網(wǎng)絡(luò)需要花費(fèi)很多運(yùn)行時(shí)間和內(nèi)存。

在Bagging的情況下动知,所有模型都是獨(dú)立的皿伺;Dropout的情況下,所有模型共享參數(shù)盒粮,其中每個(gè)模型繼承父神經(jīng)網(wǎng)絡(luò)參數(shù) 的不同子集鸵鸥。參數(shù)共享使得在有限可用的內(nèi)存下表示指數(shù)級(jí)數(shù)量的模型變得可能。

Dropout優(yōu)點(diǎn):計(jì)算方便丹皱,不限制適用的模型或訓(xùn)練過程妒穴,幾乎在所有使用分布式表示且可以用隨機(jī)梯度下降訓(xùn)練的模型上都表現(xiàn)很好。

因?yàn)镈ropout減少了模型的有效容量摊崭。為了抵消這種影響讼油,我們必須增大模型規(guī)模和更多的訓(xùn)練數(shù)據(jù)。對(duì)于非常大的數(shù)據(jù)集呢簸,正則化帶來的泛化誤差減少得很小矮台,好處有限; 而使用Dropout和更大模型可能超過正則化帶來的好處根时!
同時(shí)也要注意:只有極少的訓(xùn)練樣本時(shí)瘦赫,Dropout不會(huì)很有效。

Dropout可以被看成是一種純粹高效近似Bagging的方法蛤迎。更進(jìn)一步的确虱,Dropout不僅僅是訓(xùn)練一個(gè)Bagging的集成模型,并且是共享隱藏單元的集成模型忘苛。這意味著無論其他隱藏單元是否在模型中蝉娜,每個(gè)隱藏單元必須都能夠表現(xiàn)良好。隱藏單元必須準(zhǔn)備好進(jìn)行模型之間的交換和互換扎唾。Dropout正則化每個(gè)隱藏單元不僅是一個(gè)很好的特征召川,更要在許多情況下是良好的特征。相比獨(dú)立模型Bagging集成獲得泛化誤差胸遇,Dropout會(huì)帶來額外的改進(jìn)荧呐。

  1. 對(duì)抗訓(xùn)練
    在精度達(dá)到人類水平的神經(jīng)網(wǎng)絡(luò)上可以通過優(yōu)化過程故意構(gòu)造數(shù)據(jù)點(diǎn),其上的誤差率接近100%纸镊! 模型在這個(gè)輸入點(diǎn) x′ 的輸出與附近的數(shù)據(jù) 點(diǎn) x 非常不同倍阐。在許多情況下,x′ 與 x 非常近似逗威,人類觀察者不會(huì)察覺原始樣本和對(duì)抗樣本(adversarial example)之間的差異峰搪,但是網(wǎng)絡(luò)會(huì)作出非常不同的預(yù)測(cè)。
對(duì)抗樣本實(shí)例
  1. 切面距離凯旭、正切傳播和流形正切分類器
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末概耻,一起剝皮案震驚了整個(gè)濱河市使套,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌鞠柄,老刑警劉巖侦高,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異厌杜,居然都是意外死亡奉呛,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門夯尽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來瞧壮,“玉大人,你說我怎么就攤上這事呐萌∧俪眨” “怎么了?”我有些...
    開封第一講書人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵肺孤,是天一觀的道長(zhǎng)罗晕。 經(jīng)常有香客問我,道長(zhǎng)赠堵,這世上最難降的妖魔是什么小渊? 我笑而不...
    開封第一講書人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮茫叭,結(jié)果婚禮上酬屉,老公的妹妹穿的比我還像新娘。我一直安慰自己揍愁,他們只是感情好呐萨,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著莽囤,像睡著了一般谬擦。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上朽缎,一...
    開封第一講書人閱讀 48,970評(píng)論 1 284
  • 那天惨远,我揣著相機(jī)與錄音,去河邊找鬼话肖。 笑死北秽,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的最筒。 我是一名探鬼主播贺氓,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼床蜘!你這毒婦竟也來了掠归?” 一聲冷哼從身側(cè)響起缅叠,我...
    開封第一講書人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎虏冻,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體弹囚,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡厨相,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鸥鹉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蛮穿。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖毁渗,靈堂內(nèi)的尸體忽然破棺而出践磅,到底是詐尸還是另有隱情,我是刑警寧澤灸异,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布府适,位于F島的核電站,受9級(jí)特大地震影響肺樟,放射性物質(zhì)發(fā)生泄漏檐春。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一么伯、第九天 我趴在偏房一處隱蔽的房頂上張望疟暖。 院中可真熱鬧,春花似錦田柔、人聲如沸俐巴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)欣舵。三九已至,卻和暖如春摆屯,著一層夾襖步出監(jiān)牢的瞬間邻遏,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來泰國(guó)打工虐骑, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留准验,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓廷没,卻偏偏與公主長(zhǎng)得像糊饱,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子颠黎,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容