正則化方法

正則化的作用

正則化是為了防止過(guò)擬合采取的策略总放,主要的正則化方法有L1堆生、L2洞辣、dropout、dropconnect

L2正則化

具體的公式如下:



也就是在原來(lái)的代價(jià)函數(shù)上加上參數(shù)的平方和的均值蓄愁,而λ是超參數(shù)。對(duì)于L2正則化好唯,我們可以理解為在準(zhǔn)確率和參數(shù)約束中取了一個(gè)折中的方案鞋诗,而L2正則化防止過(guò)擬合可以從求導(dǎo)中看出來(lái),C對(duì)于w和b的導(dǎo)數(shù)如下所示:


那么對(duì)于w和b的更新方式就如下所示:


正則化是對(duì)于b沒(méi)有影響的撕捍,而對(duì)于w我們?cè)谑褂锰荻雀轮跋葘?duì)于w進(jìn)行了衰減拿穴,之后根據(jù)梯度的方向來(lái)對(duì)于參數(shù)進(jìn)行更新因?yàn)樵诿恳淮胃碌乃p,所以限制了w的無(wú)止盡擴(kuò)張忧风。更小的權(quán)值w默色,從某種意義上說(shuō),表示網(wǎng)絡(luò)的復(fù)雜度更低狮腿,對(duì)數(shù)據(jù)的擬合剛剛好(這個(gè)法則也叫做奧卡姆剃刀)腿宰,而在實(shí)際應(yīng)用中,也驗(yàn)證了這一點(diǎn)缘厢,L2正則化的效果往往好于未經(jīng)正則化的效果吃度。

對(duì)于mini-batch更新,正則化有所不同:


m是一個(gè)mini-batch中樣本的個(gè)數(shù)贴硫。

L1正則化

主要方法是:


這種正則化方式的導(dǎo)數(shù)為:



那么權(quán)重w的更新規(guī)則為:


比原始的更新規(guī)則多出了η * λ * sgn(w)/n這一項(xiàng)椿每。當(dāng)w為正時(shí),更新后的w變小英遭。當(dāng)w為負(fù)時(shí)间护,更新后的w變大——因此它的效果就是讓w往0靠,使網(wǎng)絡(luò)中的權(quán)重盡可能為0挖诸,也就相當(dāng)于減小了網(wǎng)絡(luò)復(fù)雜度汁尺,防止過(guò)擬合。

dropout

講起來(lái)很簡(jiǎn)單多律,就是隨機(jī)失活痴突,讓某些神經(jīng)元的輸出為0,這樣BP后也是0菱涤,相當(dāng)于只使用完整網(wǎng)絡(luò)的一部分來(lái)訓(xùn)練苞也。在每一次迭代中選擇不同的神經(jīng)元來(lái)失活,也就是嗎粘秆,每一次迭代都得到網(wǎng)絡(luò)的一部分如迟,最后將這數(shù)個(gè)更加泛化的網(wǎng)絡(luò)整合進(jìn)行預(yù)測(cè),可以有效防止過(guò)擬合。

dropconnect

dropout是使神經(jīng)元失活殷勘,輸出為0此再,而dropconnect是使參數(shù)w失活,置為0玲销,比dropout更加徹底输拇,但是效果并沒(méi)有顯著提高,同時(shí)計(jì)算量更大贤斜。所以沒(méi)有廣泛使用

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末策吠,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子瘩绒,更是在濱河造成了極大的恐慌猴抹,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件锁荔,死亡現(xiàn)場(chǎng)離奇詭異蟀给,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)阳堕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門跋理,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人恬总,你說(shuō)我怎么就攤上這事前普。” “怎么了壹堰?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵汁政,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我缀旁,道長(zhǎng),這世上最難降的妖魔是什么勺鸦? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任并巍,我火速辦了婚禮,結(jié)果婚禮上换途,老公的妹妹穿的比我還像新娘懊渡。我一直安慰自己,他們只是感情好军拟,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布剃执。 她就那樣靜靜地躺著,像睡著了一般懈息。 火紅的嫁衣襯著肌膚如雪肾档。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,829評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音怒见,去河邊找鬼俗慈。 笑死,一個(gè)胖子當(dāng)著我的面吹牛遣耍,可吹牛的內(nèi)容都是我干的闺阱。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼舵变,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼酣溃!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起纪隙,我...
    開(kāi)封第一講書(shū)人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤赊豌,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后瘫拣,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體亿絮,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年麸拄,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了派昧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拢切,死狀恐怖蒂萎,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情淮椰,我是刑警寧澤五慈,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站主穗,受9級(jí)特大地震影響泻拦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜忽媒,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一争拐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧晦雨,春花似錦架曹、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至奥邮,卻和暖如春万牺,著一層夾襖步出監(jiān)牢的瞬間罗珍,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工杏愤, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留靡砌,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓珊楼,卻偏偏與公主長(zhǎng)得像通殃,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子厕宗,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容