姓名：張歡 學(xué)號(hào)：16020199056 電子工程學(xué)院
轉(zhuǎn)載自：https://www.zhihu.com/question/34681168/answer/84061846
【嵌牛導(dǎo)讀】神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五购对、六十年代猾昆，當(dāng)時(shí)叫感知機(jī)（perceptron），擁有輸入層洞斯、輸出層和一個(gè)隱含層毡庆。輸入的特征向量通過隱含層變換達(dá)到輸出層，在輸出層得到分類結(jié)果烙如。早期感知機(jī)的推動(dòng)者是Rosenblatt么抗。（扯一個(gè)不相關(guān)的：由于計(jì)算技術(shù)的落后，當(dāng)時(shí)感知器傳輸函數(shù)是用線拉動(dòng)變阻器改變電阻的方法機(jī)械實(shí)現(xiàn)的亚铁，腦補(bǔ)一下科學(xué)家們扯著密密麻麻的導(dǎo)線的樣子…）
【嵌牛鼻子】CNN RNN DNN
【嵌牛提問】CNN(卷積神經(jīng)網(wǎng)絡(luò))蝇刀、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、DNN(深度神經(jīng)網(wǎng)絡(luò))的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)有什么區(qū)別徘溢？
【嵌牛正文】神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五吞琐、六十年代，當(dāng)時(shí)叫感知機(jī)（perceptron）然爆，擁有輸入層站粟、輸出層和一個(gè)隱含層。輸入的特征向量通過隱含層變換達(dá)到輸出層曾雕，在輸出層得到分類結(jié)果奴烙。早期感知機(jī)的推動(dòng)者是Rosenblatt。（扯一個(gè)不相關(guān)的：由于計(jì)算技術(shù)的落后，當(dāng)時(shí)感知器傳輸函數(shù)是用線拉動(dòng)變阻器改變電阻的方法機(jī)械實(shí)現(xiàn)的切诀，腦補(bǔ)一下科學(xué)家們扯著密密麻麻的導(dǎo)線的樣子…）但是揩环，Rosenblatt的單層感知機(jī)有一個(gè)嚴(yán)重得不能再嚴(yán)重的問題，即它對稍復(fù)雜一些的函數(shù)都無能為力（比如最為典型的“異或”操作）幅虑。
隨著數(shù)學(xué)的發(fā)展丰滑，這個(gè)缺點(diǎn)直到上世紀(jì)八十年代才被Rumelhart、Williams倒庵、Hinton褒墨、LeCun等人（反正就是一票大牛）發(fā)明的多層感知機(jī)（multilayer perceptron）克服。多層感知機(jī)哄芜，顧名思義貌亭，就是有多個(gè)隱含層的感知機(jī)（廢話……）。好好认臊，我們看一下多層感知機(jī)的結(jié)構(gòu)：
圖1上下層神經(jīng)元全部相連的神經(jīng)網(wǎng)絡(luò)——多層感知機(jī)
多層感知機(jī)可以擺脫早期離散傳輸函數(shù)的束縛，使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對激勵(lì)的響應(yīng)锄奢，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法失晴。對，這貨就是我們現(xiàn)在所說的神經(jīng)網(wǎng)絡(luò)NN——神經(jīng)網(wǎng)絡(luò)聽起來不知道比感知機(jī)高端到哪里去了拘央！這再次告訴我們起一個(gè)好聽的名字對于研究很重要涂屁！
多層感知機(jī)解決了之前無法模擬異或邏輯的缺陷，同時(shí)更多的層數(shù)也讓網(wǎng)絡(luò)更能夠刻畫現(xiàn)實(shí)世界中的復(fù)雜情形灰伟。相信年輕如Hinton當(dāng)時(shí)一定是春風(fēng)得意拆又。
多層感知機(jī)給我們帶來的啟示是，神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對現(xiàn)實(shí)的刻畫能力——利用每層更少的神經(jīng)元擬合更加復(fù)雜的函數(shù)[1]栏账。
（Bengio如是說：functions that can be compactly represented by a depth k architecture might require an exponential number of computational elements to be represented by a depth k ? 1 architecture.）
即便大牛們早就預(yù)料到神經(jīng)網(wǎng)絡(luò)需要變得更深帖族，但是有一個(gè)夢魘總是縈繞左右。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深挡爵，優(yōu)化函數(shù)越來越容易陷入局部最優(yōu)解竖般，并且這個(gè)“陷阱”越來越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)茶鹃，性能還不如較淺層網(wǎng)絡(luò)涣雕。同時(shí)，另一個(gè)不可忽略的問題是隨著網(wǎng)絡(luò)層數(shù)增加闭翩，“梯度消失”現(xiàn)象更加嚴(yán)重挣郭。具體來說，我們常常使用sigmoid作為神經(jīng)元的輸入輸出函數(shù)疗韵。對于幅度為1的信號(hào)兑障，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來的0.25旺垒。層數(shù)一多彩库，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號(hào)。
2006年先蒋，Hinton利用預(yù)訓(xùn)練方法緩解了局部最優(yōu)解問題骇钦，將隱含層推動(dòng)到了7層[2]，神經(jīng)網(wǎng)絡(luò)真正意義上有了“深度”竞漾，由此揭開了深度學(xué)習(xí)的熱潮眯搭。這里的“深度”并沒有固定的定義——在語音識(shí)別中4層網(wǎng)絡(luò)就能夠被認(rèn)為是“較深的”，而在圖像識(shí)別中20層以上的網(wǎng)絡(luò)屢見不鮮业岁。為了克服梯度消失鳞仙，ReLU、maxout等傳輸函數(shù)代替了sigmoid笔时，形成了如今DNN的基本形式棍好。單從結(jié)構(gòu)上來說，全連接的DNN和圖1的多層感知機(jī)是沒有任何區(qū)別的允耿。
值得一提的是借笙，今年出現(xiàn)的高速公路網(wǎng)絡(luò)（highway network）和深度殘差學(xué)習(xí)（deep residual learning）進(jìn)一步避免了梯度消失，網(wǎng)絡(luò)層數(shù)達(dá)到了前所未有的一百多層（深度殘差學(xué)習(xí)：152層）[3,4]较锡！具體結(jié)構(gòu)題主可自行搜索了解业稼。如果你之前在懷疑是不是有很多方法打上了“深度學(xué)習(xí)”的噱頭，這個(gè)結(jié)果真是深得讓人心服口服蚂蕴。
圖2縮減版的深度殘差學(xué)習(xí)網(wǎng)絡(luò)低散，僅有34層，終極版有152層骡楼，自行感受一下
如圖1所示熔号，我們看到全連接DNN的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，帶來的潛在問題是參數(shù)數(shù)量的膨脹君编。假設(shè)輸入的是一幅像素為1K*1K的圖像跨嘉，隱含層有1M個(gè)節(jié)點(diǎn)，光這一層就有10^12個(gè)權(quán)重需要訓(xùn)練吃嘿，這不僅容易過擬合祠乃，而且極容易陷入局部最優(yōu)。另外兑燥，圖像中有固有的局部模式（比如輪廓亮瓷、邊界兆览，人的眼睛铐炫、鼻子锁右、嘴等）可以利用，顯然應(yīng)該將圖像處理中的概念和神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合躬厌。對于CNN來說锚赤，并不是所有上下層神經(jīng)元都能直接相連凝化，而是通過“卷積核”作為中介扁远。同一個(gè)卷積核在所有圖像內(nèi)是共享的，圖像通過卷積操作后仍然保留原先的位置關(guān)系汛聚。兩層之間的卷積傳輸?shù)氖疽鈭D如下：
通過一個(gè)例子簡單說明卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)锹安。假設(shè)圖3中m-1=1是輸入層，我們需要識(shí)別一幅彩色圖像倚舀，這幅圖像具有四個(gè)通道ARGB（透明度和紅綠藍(lán)叹哭，對應(yīng)了四幅相同大小的圖像），假設(shè)卷積核大小為100*100痕貌，共使用100個(gè)卷積核w1到w100（從直覺來看风罩，每個(gè)卷積核應(yīng)該學(xué)習(xí)到不同的結(jié)構(gòu)特征）。用w1在ARGB圖像上進(jìn)行卷積操作舵稠，可以得到隱含層的第一幅圖像超升；這幅隱含層圖像左上角第一個(gè)像素是四幅輸入圖像左上角100*100區(qū)域內(nèi)像素的加權(quán)求和，以此類推哺徊。同理廓俭，算上其他卷積核，隱含層對應(yīng)100幅“圖像”唉工。每幅圖像對是對原始圖像中不同特征的響應(yīng)。按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去汹忠。CNN中還有max-pooling等操作進(jìn)一步提高魯棒性淋硝。
圖4一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，注意到最后一層實(shí)際上是一個(gè)全連接層（摘自Theano教程）
在這個(gè)例子里宽菜，我們注意到輸入層到隱含層的參數(shù)瞬間降低到了100*100*100=10^6個(gè)谣膳！這使得我們能夠用已有的訓(xùn)練數(shù)據(jù)得到良好的模型。題主所說的適用于圖像識(shí)別铅乡，正是由于CNN模型限制參數(shù)了個(gè)數(shù)并挖掘了局部結(jié)構(gòu)的這個(gè)特點(diǎn)继谚。順著同樣的思路，利用語音語譜結(jié)構(gòu)中的局部信息阵幸，CNN照樣能應(yīng)用在語音識(shí)別中花履。
全連接的DNN還存在著另一個(gè)問題——無法對時(shí)間序列上的變化進(jìn)行建模。然而挚赊，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z言處理诡壁、語音識(shí)別、手寫體識(shí)別等應(yīng)用非常重要荠割。對了適應(yīng)這種需求妹卿，就出現(xiàn)了題主所說的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN旺矾。
在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號(hào)只能向上一層傳播夺克，樣本的處理在各個(gè)時(shí)刻獨(dú)立箕宙，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。而在RNN中铺纽，神經(jīng)元的輸出可以在下一個(gè)時(shí)間戳直接作用到自身柬帕，即第i層神經(jīng)元在m時(shí)刻的輸入，除了（i-1）層神經(jīng)元在該時(shí)刻的輸出外室囊，還包括其自身在（m-1）時(shí)刻的輸出雕崩！表示成圖就是這樣的：
我們可以看到在隱含層節(jié)點(diǎn)之間增加了互連。為了分析方便融撞，我們常將RNN在時(shí)間上進(jìn)行展開盼铁，得到如圖6所示的結(jié)構(gòu)：
Cool，（t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時(shí)刻輸入和所有歷史共同作用的結(jié)果尝偎！這就達(dá)到了對時(shí)間序列建模的目的饶火。
不知題主是否發(fā)現(xiàn)，RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)致扯，它的深度是時(shí)間的長度肤寝！正如我們上面所說，“梯度消失”現(xiàn)象又要出現(xiàn)了抖僵，只不過這次發(fā)生在時(shí)間軸上鲤看。對于t時(shí)刻來說，它產(chǎn)生的梯度在時(shí)間軸上向歷史傳播幾層之后就消失了耍群，根本就無法影響太遙遠(yuǎn)的過去义桂。因此，之前說“所有歷史”共同作用只是理想的情況蹈垢，在實(shí)際中慷吊，這種影響也就只能維持若干個(gè)時(shí)間戳。
為了解決時(shí)間上的梯度消失曹抬，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展出了長短時(shí)記憶單元LSTM溉瓶，通過門的開關(guān)實(shí)現(xiàn)時(shí)間上記憶功能，并防止梯度消失谤民，一個(gè)LSTM單元長這個(gè)樣子：
深度學(xué)習(xí)還有許多其他的結(jié)構(gòu)堰酿。舉個(gè)例子，RNN既然能繼承歷史信息赖临，是不是也能吸收點(diǎn)未來的信息呢胞锰？因?yàn)樵谛蛄行盘?hào)分析中，如果我能預(yù)知未來兢榨，對識(shí)別一定也是有所幫助的嗅榕。因此就有了雙向RNN顺饮、雙向LSTM，同時(shí)利用歷史和未來的信息凌那。
事實(shí)上兼雄，不論是那種網(wǎng)絡(luò)，他們在實(shí)際應(yīng)用中常常都混合著使用帽蝶，比如CNN和RNN在上層輸出之前往往會(huì)接上全連接層赦肋，很難說某個(gè)網(wǎng)絡(luò)到底屬于哪個(gè)類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)励稳，更靈活的組合方式佃乘、更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來。盡管看起來千變?nèi)f化驹尼，但研究者們的出發(fā)點(diǎn)肯定都是為了解決特定的問題趣避。題主如果想進(jìn)行這方面的研究，不妨仔細(xì)分析一下這些結(jié)構(gòu)各自的特點(diǎn)以及它們達(dá)成目標(biāo)的手段新翎。入門的話可以參考：
Ng寫的Ufldl：UFLDL教程 - Ufldl
也可以看Theano內(nèi)自帶的教程程帕，例子非常具體：Deep Learning Tutorials
歡迎大家繼續(xù)推薦補(bǔ)充。
