今天看百面機(jī)器學(xué)習(xí)的書.書上提到改善模型過擬合的一個(gè)方法是加正則化項(xiàng).這句話其實(shí)已經(jīng)不止第一次見了,但是每次都沒有想想為什么.現(xiàn)在記錄一下自己的理解.
為什么會(huì)過擬合
機(jī)器學(xué)習(xí)的前提條件是訓(xùn)練集和測(cè)試集都是獨(dú)立同分布瑞驱，機(jī)器學(xué)習(xí)目的就是利用數(shù)據(jù)學(xué)習(xí)某種pattern的表達(dá) .我們常衬锼ぃ可以使用一個(gè)多項(xiàng)式函數(shù)表達(dá)某個(gè)pattern.這個(gè)多項(xiàng)式就越如果我們的數(shù)據(jù)集包括這個(gè)pattern所有情況，那么學(xué)習(xí)的結(jié)果就會(huì)非常好.但是,往往我們的輸入數(shù)據(jù)都是不完備的,那么學(xué)習(xí)到的pattern就不完備,不夠準(zhǔn)確,這種不準(zhǔn)確表達(dá)出來兩種結(jié)果唤反，一種是underfitting（欠擬合）凳寺，另一種是過擬合（overfitting）。最左邊是欠擬合,最右邊是過擬合.過擬合原因就是f(x)多項(xiàng)式的N特別的大彤侍，越復(fù)雜模型需要提供的特征越多肠缨，或者說提供的測(cè)試用例中我們使用到的特征非常多.
過擬合的解決方法
已經(jīng)知道過擬合的原因是f(x)多項(xiàng)式的N特別大,那么解決方法就是減少N.更具體的說,減少N的數(shù)量,也就是而讓N最小化，也就是讓向量W中項(xiàng)的個(gè)數(shù)最小化,這個(gè)過程用一個(gè)學(xué)術(shù)語(yǔ)言描述就叫正則化.0范數(shù),L1范數(shù),L2范數(shù)都是實(shí)現(xiàn)W向量中的個(gè)數(shù)最小化,只是細(xì)節(jié)上有所不同.將范數(shù)套在過擬合的解釋分別是:0范數(shù)盏阶，表示向量W中非零元素的個(gè)數(shù).1范數(shù)晒奕，表示向量W絕對(duì)值之和.2范數(shù)，就是向量W的模般哼。1范數(shù)計(jì)算向量W的元素變成0, 2范數(shù)使得向量W的元素趨近于0,都在做減少W的元素?cái)?shù)量.
總結(jié)
f(x)多項(xiàng)式加入范數(shù)項(xiàng),使得W向量的元素個(gè)數(shù)最小化,進(jìn)而減少N,導(dǎo)致的結(jié)果就是改善過擬合的現(xiàn)象.另外,解決過擬合是不是只有上面提到的方法,答案是否定的.增加訓(xùn)練數(shù)據(jù)量也是可以的.
