原文：http://blog.csdn.net/flowerboya/article/details/51824805
正則化方法：防止過擬合深碱，提高泛化能力
在訓(xùn)練數(shù)據(jù)不夠多時(shí)腹鹉，或者overtraining時(shí)，常常會導(dǎo)致overfitting（過擬合）敷硅。其直觀的表現(xiàn)如下圖所示功咒，隨著訓(xùn)練過程的進(jìn)行，模型復(fù)雜度增加竞膳，在training data上的error漸漸減小航瞭，但是在驗(yàn)證集上的error卻反而漸漸增大——因?yàn)橛?xùn)練出來的網(wǎng)絡(luò)過擬合了訓(xùn)練集，對訓(xùn)練集外的數(shù)據(jù)卻不work坦辟。
為了防止overfitting刊侯，可以用的方法有很多，下文就將以此展開锉走。有一個(gè)概念需要先說明滨彻，在機(jī)器學(xué)習(xí)算法中，我們常常將原始數(shù)據(jù)集分為三部分：training data挪蹭、validation data亭饵，testing data。這個(gè)validation data是什么梁厉？它其實(shí)就是用來避免過擬合的辜羊，在訓(xùn)練過程中踏兜，我們通常用它來確定一些超參數(shù)（比如根據(jù)validation data上的accuracy來確定early stopping的epoch大小、根據(jù)validation data確定learning rate等等）八秃。那為啥不直接在testing data上做這些呢碱妆？因?yàn)槿绻趖esting data做這些，那么隨著訓(xùn)練的進(jìn)行昔驱，我們的網(wǎng)絡(luò)實(shí)際上就是在一點(diǎn)一點(diǎn)地overfitting我們的testing data疹尾，導(dǎo)致最后得到的testing accuracy沒有任何參考意義。因此骤肛，training data的作用是計(jì)算梯度更新權(quán)重纳本，validation data如上所述，testing data則給出一個(gè)accuracy以判斷網(wǎng)絡(luò)的好壞腋颠。
避免過擬合的方法有很多：early stopping繁成、數(shù)據(jù)集擴(kuò)增（Data augmentation）、正則化（Regularization）包括L1秕豫、L2（L2 regularization也叫weight decay）朴艰，dropout观蓄。
L2 regularization（權(quán)重衰減）
L2正則化就是在代價(jià)函數(shù)后面再加上一個(gè)正則化項(xiàng)：
C0代表原始的代價(jià)函數(shù)混移，后面那一項(xiàng)就是L2正則化項(xiàng)，它是這樣來的：所有參數(shù)w的平方的和侮穿，除以訓(xùn)練集的樣本大小n歌径。λ就是正則項(xiàng)系數(shù)，權(quán)衡正則項(xiàng)與C0項(xiàng)的比重亲茅。另外還有一個(gè)系數(shù)1/2回铛，1/2經(jīng)常會看到，主要是為了后面求導(dǎo)的結(jié)果方便克锣，后面那一項(xiàng)求導(dǎo)會產(chǎn)生一個(gè)2茵肃，與1/2相乘剛好湊整。
L2正則化項(xiàng)是怎么避免overfitting的呢袭祟？我們推導(dǎo)一下看看验残，先求導(dǎo)：
可以發(fā)現(xiàn)L2正則化項(xiàng)對b的更新沒有影響，但是對于w的更新有影響:
在不使用L2正則化時(shí)巾乳，求導(dǎo)結(jié)果中w前系數(shù)為1您没，現(xiàn)在w前面系數(shù)為 1?ηλ/n ，因?yàn)棣堑ò怼ⅵ税迸簟都是正的，所以 1?ηλ/n小于1压状，它的效果是減小w仆抵，這也就是權(quán)重衰減（weight decay）的由來。當(dāng)然考慮到后面的導(dǎo)數(shù)項(xiàng)，w最終的值可能增大也可能減小镣丑。
另外还栓，需要提一下，對于基于mini-batch的隨機(jī)梯度下降传轰，w和b更新的公式跟上面給出的有點(diǎn)不同：
對比上面w的更新公式剩盒，可以發(fā)現(xiàn)后面那一項(xiàng)變了，變成所有導(dǎo)數(shù)加和慨蛙，乘以η再除以m辽聊，m是一個(gè)mini-batch中樣本的個(gè)數(shù)。
到目前為止期贫，我們只是解釋了L2正則化項(xiàng)有讓w“變小”的效果跟匆，但是還沒解釋為什么w“變小”可以防止overfitting？一個(gè)所謂“顯而易見”的解釋就是：更小的權(quán)值w通砍，從某種意義上說玛臂，表示網(wǎng)絡(luò)的復(fù)雜度更低，對數(shù)據(jù)的擬合剛剛好（這個(gè)法則也叫做奧卡姆剃刀）封孙，而在實(shí)際應(yīng)用中迹冤，也驗(yàn)證了這一點(diǎn)，L2正則化的效果往往好于未經(jīng)正則化的效果虎忌。當(dāng)然泡徙，對于很多人（包括我）來說，這個(gè)解釋似乎不那么顯而易見膜蠢，所以這里添加一個(gè)稍微數(shù)學(xué)一點(diǎn)的解釋（引自知乎）：
過擬合的時(shí)候堪藐，擬合函數(shù)的系數(shù)往往非常大，為什么挑围？如下圖所示礁竞，過擬合，就是擬合函數(shù)需要顧忌每一個(gè)點(diǎn)杉辙，最終形成的擬合函數(shù)波動(dòng)很大模捂。在某些很小的區(qū)間里，函數(shù)值的變化很劇烈奏瞬。這就意味著函數(shù)在某些小區(qū)間里的導(dǎo)數(shù)值（絕對值）非常大枫绅，由于自變量值可大可小，所以只有系數(shù)足夠大硼端，才能保證導(dǎo)數(shù)值很大并淋。
而正則化是通過約束參數(shù)的范數(shù)使其不要太大，所以可以在一定程度上減少過擬合情況珍昨。
L1 regularization
在原始的代價(jià)函數(shù)后面加上一個(gè)L1正則化項(xiàng)县耽，即所有權(quán)重w的絕對值的和句喷，乘以λ/n（這里不像L2正則化項(xiàng)那樣，需要再乘以1/2兔毙，具體原因上面已經(jīng)說過唾琼。）
同樣先計(jì)算導(dǎo)數(shù)：
上式中sgn(w)表示w的符號。那么權(quán)重w的更新規(guī)則為：
比原始的更新規(guī)則多出了η * λ * sgn(w)/n這一項(xiàng)澎剥。當(dāng)w為正時(shí)锡溯，更新后的w變小。當(dāng)w為負(fù)時(shí)哑姚，更新后的w變大——因此它的效果就是讓w往0靠祭饭，使網(wǎng)絡(luò)中的權(quán)重盡可能為0，也就相當(dāng)于減小了網(wǎng)絡(luò)復(fù)雜度叙量，防止過擬合倡蝙。
另外，上面沒有提到一個(gè)問題绞佩，當(dāng)w為0時(shí)怎么辦寺鸥？當(dāng)w等于0時(shí)，|W|是不可導(dǎo)的品山，所以我們只能按照原始的未經(jīng)正則化的方法去更新w胆建，這就相當(dāng)于去掉η*λ*sgn(w)/n這一項(xiàng)，所以我們可以規(guī)定sgn(0)=0谆奥，這樣就把w=0的情況也統(tǒng)一進(jìn)來了眼坏。（在編程的時(shí)候拂玻，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）
Dropout
L1酸些、L2正則化是通過修改代價(jià)函數(shù)來實(shí)現(xiàn)的，而Dropout則是通過修改神經(jīng)網(wǎng)絡(luò)本身來實(shí)現(xiàn)的檐蚜，它是在訓(xùn)練網(wǎng)絡(luò)時(shí)用的一種技巧（trike）魄懂。它的流程如下：
假設(shè)我們要訓(xùn)練上圖這個(gè)網(wǎng)絡(luò)，在訓(xùn)練開始時(shí)闯第，我們隨機(jī)地“刪除”一半的隱層單元市栗，視它們?yōu)椴淮嬖冢玫饺缦碌木W(wǎng)絡(luò)：
保持輸入輸出層不變咳短，按照BP算法更新上圖神經(jīng)網(wǎng)絡(luò)中的權(quán)值（虛線連接的單元不更新填帽，因?yàn)樗鼈儽弧芭R時(shí)刪除”了）。
以上就是一次迭代的過程咙好，在第二次迭代中篡腌，也用同樣的方法，只不過這次刪除的那一半隱層單元勾效，跟上一次刪除掉的肯定是不一樣的嘹悼，因?yàn)槲覀兠恳淮蔚际恰半S機(jī)”地去刪掉一半叛甫。第三次、第四次……都是這樣杨伙，直至訓(xùn)練結(jié)束其监。
以上就是Dropout，它為什么有助于防止過擬合呢限匣？可以簡單地這樣解釋抖苦，運(yùn)用了dropout的訓(xùn)練過程，相當(dāng)于訓(xùn)練了很多個(gè)只有半數(shù)隱層單元的神經(jīng)網(wǎng)絡(luò)（后面簡稱為“半數(shù)網(wǎng)絡(luò)”）米死，每一個(gè)這樣的半數(shù)網(wǎng)絡(luò)睛约，都可以給出一個(gè)分類結(jié)果，這些結(jié)果有的是正確的哲身，有的是錯(cuò)誤的辩涝。隨著訓(xùn)練的進(jìn)行，大部分半數(shù)網(wǎng)絡(luò)都可以給出正確的分類結(jié)果勘天，那么少數(shù)的錯(cuò)誤分類結(jié)果就不會對最終結(jié)果造成大的影響怔揩。
更加深入地理解，可以看看Hinton和Alex兩牛2012的論文《ImageNet Classification with Deep Convolutional Neural Networks》
數(shù)據(jù)集擴(kuò)增（data augmentation）
“有時(shí)候不是因?yàn)樗惴ê泌A了脯丝，而是因?yàn)閾碛懈嗟臄?shù)據(jù)才贏了商膊。”
不記得原話是哪位大牛說的了宠进，hinton晕拆？從中可見訓(xùn)練數(shù)據(jù)有多么重要，特別是在深度學(xué)習(xí)方法中材蹬，更多的訓(xùn)練數(shù)據(jù)实幕，意味著可以用更深的網(wǎng)絡(luò)，訓(xùn)練出更好的模型堤器。
既然這樣昆庇，收集更多的數(shù)據(jù)不就行啦？如果能夠收集更多可以用的數(shù)據(jù)闸溃，當(dāng)然好整吆。但是很多時(shí)候，收集更多的數(shù)據(jù)意味著需要耗費(fèi)更多的人力物力辉川，有弄過人工標(biāo)注的同學(xué)就知道表蝙，效率特別低，簡直是粗活乓旗。
所以府蛇，可以在原始數(shù)據(jù)上做些改動(dòng)，得到更多的數(shù)據(jù)寸齐，以圖片數(shù)據(jù)集舉例欲诺，可以做各種變換抄谐，如：
將原始圖片旋轉(zhuǎn)一個(gè)小角度
添加隨機(jī)噪聲
一些有彈性的畸變（elastic distortions），論文《Best practices for convolutional neural networks applied to visual document analysis》對MNIST做了各種變種擴(kuò)增扰法。
截扔己（crop）原始圖片的一部分。比如DeepID中塞颁，從一副人臉圖中浦箱，截取出了100個(gè)小patch作為訓(xùn)練數(shù)據(jù)，極大地增加了數(shù)據(jù)集祠锣。感興趣的可以看《Deep learning face representation from predicting 10,000 classes》.
更多數(shù)據(jù)意味著什么酷窥？
用50000個(gè)MNIST的樣本訓(xùn)練SVM得出的accuracy94.48%，用5000個(gè)MNIST的樣本訓(xùn)練NN得出accuracy為93.24%伴网，所以更多的數(shù)據(jù)可以使算法表現(xiàn)得更好蓬推。在機(jī)器學(xué)習(xí)中，算法本身并不能決出勝負(fù)澡腾，不能武斷地說這些算法誰優(yōu)誰劣沸伏，因?yàn)閿?shù)據(jù)對算法性能的影響很大。
轉(zhuǎn)載請注明出處：http://blog.csdn.net/u012162613/article/details/44261657
