最近復(fù)習(xí)了一下基礎(chǔ)知識(shí)，看到MLP的結(jié)構(gòu)藕坯，關(guān)于隱藏層和神經(jīng)元有了新的一些理解唐瀑。
隱藏層的意義
要說(shuō)明隱藏層的意義群凶，需要從兩個(gè)方面理解，一個(gè)是單個(gè)隱藏層的意義哄辣，一個(gè)是多層隱藏層的意義座掘。
單個(gè)隱藏層的意義
隱藏層的意義就是把輸入數(shù)據(jù)的特征，抽象到另一個(gè)維度空間柔滔，來(lái)展現(xiàn)其更抽象化的特征，這些特征能更好的進(jìn)行線(xiàn)性劃分萍虽。
舉個(gè)栗子睛廊，MNIST分類(lèi)。
輸出圖片經(jīng)過(guò)隱藏層加工, 變成另一種特征代表 (3個(gè)神經(jīng)元輸出3個(gè)特征), 將這3個(gè)特征可視化出來(lái)杉编。就有了下面這張圖, 我們發(fā)現(xiàn)中間的隱藏層對(duì)于"1"的圖片數(shù)據(jù)有了清晰的認(rèn)識(shí)超全，能將"1"的特征區(qū)分開(kāi)來(lái)。
多個(gè)隱藏層的意義
多個(gè)隱藏層其實(shí)是對(duì)輸入特征多層次的抽象邓馒，最終的目的就是為了更好的線(xiàn)性劃分不同類(lèi)型的數(shù)據(jù)（隱藏層的作用）嘶朱。
怎么理解這句話(huà)呢，舉個(gè)有趣的例子光酣，如下圖所示疏遏。
我們的輸入特征是:身高、體重救军、胸圍财异、腿長(zhǎng)、臉長(zhǎng)等等一些外貌特征唱遭，輸出是三個(gè)類(lèi):帥氣如彭于晏戳寸，帥氣如我，路人拷泽。
那么隱藏層H1中疫鹊，身高體重腿長(zhǎng)這些特征袖瞻，在H1中表達(dá)的特征就是身材勻稱(chēng)程度，胸圍拆吆，腰圍聋迎，臀圍這些可能表達(dá)的特征是身材如何，臉長(zhǎng)和其他的一些長(zhǎng)表達(dá)的特征就是五官協(xié)調(diào)程度锈拨。
那么把這些特征砌庄，再輸入到H2中，H2中的神經(jīng)元可能就是在劃分帥氣程度奕枢，身材好壞了娄昆，然后根據(jù)這些結(jié)果，分出了三個(gè)類(lèi)缝彬。
很遺憾萌焰，帥氣程度略輸彭于晏一籌。
那么谷浅，是不是隱藏層約多就越好呢扒俯，可以特征劃分的更清楚啊一疯？
理論上是這樣的撼玄，但實(shí)際這樣會(huì)帶來(lái)兩個(gè)問(wèn)題
- 層數(shù)越多參數(shù)會(huì)爆炸式增多
- 到了一定層數(shù)，再往深了加隱藏層墩邀，分類(lèi)效果的增強(qiáng)會(huì)越來(lái)越不明顯掌猛。上面那個(gè)例子，兩層足以劃分人是有多帥眉睹，再加幾層是要得到什么特征呢荔茬？這些特征對(duì)劃分沒(méi)有什么提升了。
神經(jīng)元的意義
現(xiàn)在終于徹底明白為什么西瓜書(shū)竹海、花書(shū)講神經(jīng)網(wǎng)絡(luò)之前要講logistic regression了慕蔚。就是所謂的感知器的意義。
我現(xiàn)在把一個(gè)神經(jīng)元（感知器）的作用理解成為一種線(xiàn)性劃分方式斋配。
一個(gè)決策邊界孔飒，一個(gè)神經(jīng)元，就是線(xiàn)性劃分许起，多個(gè)神經(jīng)元十偶，就是多個(gè)線(xiàn)性劃分，而多個(gè)線(xiàn)性劃分就是不斷在逼近決策邊界园细〉牖可以把這個(gè)過(guò)程想象成積分過(guò)程。
一個(gè)決策邊界就是又多個(gè)線(xiàn)性劃分組成的猛频。
那么如果神經(jīng)元數(shù)量很多很多狮崩，這就導(dǎo)致會(huì)有很多個(gè)線(xiàn)性劃分蛛勉，決策邊界就越扭曲，基本上就是過(guò)擬合了睦柴。
換一個(gè)角度來(lái)說(shuō)神經(jīng)元诽凌，把它理解為學(xué)習(xí)到一種東西的物體，如果這種物體越多坦敌，學(xué)到的東西就越來(lái)越像樣本侣诵，也就是過(guò)擬合。
對(duì)于其他深度學(xué)習(xí)的網(wǎng)絡(luò)來(lái)說(shuō)狱窘，CNN,RNN其實(shí)是一個(gè)道理杜顺，filter層不也是找到更抽象的特征嗎。LSTM增加forget gate蘸炸，就不是為了讓神經(jīng)元不要學(xué)得太像而得到的躬络。
so，溫故而知新搭儒，可以吹逼矣穷当。
