為了降低產(chǎn)生過(guò)擬合的可能性，我們從樣本的所有屬性中選取一部分屬性集用以訓(xùn)練模型疙渣，一種防止過(guò)擬合的方法—正則化，它將會(huì)保留所有屬性。
頻率學(xué)派
之前我們一直是通過(guò)求最大似然值確定參數(shù)（maximum likelihood (ML)）：
上式中的θ是基于頻率學(xué)派(frequentist)的觀點(diǎn)對(duì)待的枫耳，頻率學(xué)派認(rèn)為，θ是一個(gè)固定不變的常量孟抗，只是我們現(xiàn)在還不知道它的值迁杨，而我們的目的就是基于統(tǒng)計(jì)學(xué)原理獲得θ的近似值。我們要通過(guò)隨機(jī)產(chǎn)生的樣本去估計(jì)這個(gè)參數(shù)凄硼，所以才有了最大似然估計(jì)這些方法铅协。
貝葉斯學(xué)派
然而，貝葉斯學(xué)派(Bayesian)對(duì)于θ的觀點(diǎn)與頻率學(xué)派的觀點(diǎn)是不同的摊沉，它們認(rèn)為狐史，θ是一個(gè)未知的隨機(jī)變量，因此可以給出關(guān)于θ分布情況的先驗(yàn)概率p(θ),例如θ可能滿足高斯分布等等（這是一種假設(shè)或者說(shuō)是統(tǒng)計(jì)結(jié)果，此時(shí)并未考慮我們的訓(xùn)練樣本）骏全。如上為后驗(yàn)概率苍柏。
把每個(gè)類別的標(biāo)簽看成上面的參數(shù)θ，然后用樣本去推測(cè)出標(biāo)簽的分布吟温。貝葉斯學(xué)派強(qiáng)調(diào)人的先驗(yàn)的作用序仙，即人以往認(rèn)知的作用。并且通過(guò)不斷增添新的知識(shí)鲁豪，來(lái)更新以往的認(rèn)知潘悼。
在頻率學(xué)派中最大似然估計(jì)沒(méi)有將θ視作y的估計(jì)參數(shù)，認(rèn)為θ是一個(gè)常數(shù)爬橡，只是未知其值而已治唤，比如我們經(jīng)常使用常數(shù)c作為y=2x+c的后綴一樣。因此對(duì)于p(y(i)|x(i);θ)中的θ,對(duì)極大似然估計(jì)求導(dǎo)后糙申，可以求出一個(gè)確定的值θ宾添。
而貝葉斯估計(jì)將θ視為隨機(jī)變量，θ的值滿足一定的分布柜裸，不是固定值缕陕，我們無(wú)法通過(guò)計(jì)算獲得其值，只能在預(yù)測(cè)時(shí)計(jì)算積分疙挺。
然而在上述貝葉斯估計(jì)方法中扛邑， 雖然公式合理優(yōu)美，但后驗(yàn)概率p(θ|S)很難計(jì)算铐然，看其公式知道計(jì)算分母時(shí)需要在所有的θ上作積分蔬崩，然而對(duì)于一個(gè)高維的θ來(lái)說(shuō)，枚舉其所有的可能性太難了搀暑。
貝葉斯方法的參數(shù)估計(jì)
貝葉斯方法的參數(shù)估計(jì)沥阳，就是通過(guò)最大化后驗(yàn)概率來(lái)估計(jì)模型的參數(shù)。
假定模型參數(shù)為w自点，數(shù)據(jù)集為D桐罕，貝葉斯通過(guò)最大化后驗(yàn)概率估計(jì)模型參數(shù)w，即：
后驗(yàn)概率的展開(kāi)形式
假定如下：
1桂敛、樣本獨(dú)立不相關(guān)
2冈绊、模型參數(shù)獨(dú)立不相關(guān)
最新的優(yōu)化問(wèn)題為：
參數(shù)的先驗(yàn)概率與正則項(xiàng)
當(dāng)參數(shù)w的先驗(yàn)概率滿足高斯分布：
優(yōu)化問(wèn)題的左項(xiàng)中，如果w滿足N(0,1/(2λ))：
這時(shí)候的優(yōu)化函數(shù)為：
同樣地埠啃，參數(shù)w的先驗(yàn)概率滿足均值為0的拉普拉斯分布，有：
這說(shuō)明：
L2正則伟恶，等價(jià)于參數(shù)w的先驗(yàn)分布滿足均值為0的正態(tài)分布
L1正則碴开，等價(jià)于參數(shù)w的先驗(yàn)分布滿足均值為0的拉普拉斯分布
拉普拉斯在0附近突出，周圍稀疏，對(duì)應(yīng)容易產(chǎn)生稀疏解的模型
http://blog.csdn.net/xmu_jupiter/article/details/44996261
http://www.cnblogs.com/Determined22/p/6347778.htmlhttp://blog.csdn.net/Young_Gy/article/details/58147838
http://blog.csdn.net/zhuxiaodong030/article/details/54408786
http://blog.csdn.net/Young_Gy/article/details/58147838
http://blog.csdn.net/yzheately/article/details/51120239https://www.zhihu.com/question/23536142
