來(lái)自Andrey Kurenkov
A 'Brief' History of Neural Nets and Deep Learning, Part 3
深度 | 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史（第三部分）：90年代的興衰——強(qiáng)化學(xué)習(xí)與遞歸神經(jīng)網(wǎng)絡(luò)

這是「神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史」的第三部分（第一部分概耻，第二部分）纵散。在這一部分，我們將繼續(xù)了解90年代研究的飛速發(fā)展，搞清楚神經(jīng)網(wǎng)絡(luò)在60年代末失去眾多青睞的原因衬吆。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史（第一部分）：從感知機(jī)到BP算法

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史（第二部分）：BP算法之后的又一突破——信念網(wǎng)絡(luò)

****神經(jīng)網(wǎng)絡(luò)做決定****

神經(jīng)網(wǎng)絡(luò)運(yùn)用于無(wú)監(jiān)督學(xué)習(xí)的發(fā)現(xiàn)之旅結(jié)束后实夹，讓我們也快速了解一下它們?nèi)绾伪挥糜跈C(jī)器學(xué)習(xí)的第三個(gè)分支領(lǐng)域：強(qiáng)化學(xué)習(xí)。正規(guī)解釋強(qiáng)化學(xué)習(xí)需要很多數(shù)學(xué)符號(hào)，不過(guò)供璧，它也有一個(gè)很容易加以非正式描述的目標(biāo)：學(xué)會(huì)做出好決定。給定一些理論代理（比如冻记，一個(gè)小軟件）睡毒，讓代理能夠根據(jù)當(dāng)前狀態(tài)做出行動(dòng)，每個(gè)采取行動(dòng)會(huì)獲得一些獎(jiǎng)勵(lì)冗栗，而且每個(gè)行動(dòng)也意圖最大化長(zhǎng)期效用演顾。

因此，盡管監(jiān)督學(xué)習(xí)確切告訴了學(xué)習(xí)算法它應(yīng)該學(xué)習(xí)的用以輸出的內(nèi)容隅居，但是钠至，強(qiáng)化學(xué)習(xí)會(huì)過(guò)一段時(shí)間提供獎(jiǎng)勵(lì)，作為一個(gè)好決定的副產(chǎn)品胎源，不會(huì)直接告訴算法應(yīng)該選擇的正確決定棉钧。從一開(kāi)始，這就是一個(gè)非常抽象的決策模型——數(shù)目有限的狀態(tài)涕蚤，并且有一組已知的行動(dòng)宪卿，每種狀態(tài)下的獎(jiǎng)勵(lì)也是已知的。為了找到一組最優(yōu)行動(dòng)万栅，編寫(xiě)出非常優(yōu)雅的方程會(huì)因此變得簡(jiǎn)單佑钾，不過(guò)這很難用于解決真實(shí)問(wèn)題——那些狀態(tài)持續(xù)或者很難界定獎(jiǎng)勵(lì)的問(wèn)題。

這就是神經(jīng)網(wǎng)絡(luò)流行起來(lái)的地方烦粒。機(jī)器學(xué)習(xí)大體上休溶，特別是神經(jīng)網(wǎng)絡(luò)，很善于處理混亂的連續(xù)性數(shù)據(jù) 撒遣，或者通過(guò)實(shí)例學(xué)習(xí)很難加以定義的函數(shù)邮偎。盡管分類是神經(jīng)網(wǎng)絡(luò)的飯碗，但是义黎，神經(jīng)網(wǎng)絡(luò)足夠普適（general），能用來(lái)解決許多類型的問(wèn)題——比如豁跑，Bernard Widrow和Ted Hoff的Adaline后續(xù)衍生技術(shù)被用于電路環(huán)境下的自適應(yīng)濾波器廉涕。

因此，BP研究復(fù)蘇之后艇拍，不久狐蜕，人們就設(shè)計(jì)了利用神經(jīng)網(wǎng)絡(luò)進(jìn)行強(qiáng)化學(xué)習(xí)的辦法。早期例子之一就是解決一個(gè)簡(jiǎn)單卻經(jīng)典的問(wèn)題：平衡運(yùn)動(dòng)著的平臺(tái)上的棍子卸夕，各地控制課堂上學(xué)生熟知的倒立擺控制問(wèn)題层释。

因?yàn)橛凶赃m應(yīng)濾波贡羔，這項(xiàng)研究就和電子工程領(lǐng)域密切相關(guān)廉白，這一領(lǐng)域中，在神經(jīng)網(wǎng)絡(luò)出現(xiàn)之前的幾十年當(dāng)中乖寒，控制論已經(jīng)成為一個(gè)主要的子領(lǐng)域猴蹂。雖然該領(lǐng)域已經(jīng)設(shè)計(jì)了很多通過(guò)直接分析解決問(wèn)題的辦法，也有一種通過(guò)學(xué)習(xí)解決更加復(fù)雜狀態(tài)的辦法楣嘁，事實(shí)證明這一辦法有用——1990年磅轻，「Identification and control of dynamical systems using neural networks」的7000次高被引就是證明≈鹦椋或許可以斷定聋溜，另有一個(gè)獨(dú)立于機(jī)器學(xué)習(xí)領(lǐng)域，其中叭爱，神經(jīng)網(wǎng)絡(luò)就是有用的機(jī)器人學(xué)撮躁。用于機(jī)器人學(xué)的早期神經(jīng)網(wǎng)絡(luò)例子之一就是來(lái)自CMU的NavLab，1989年的「Alvinn: An autonomous land vehicle in a neural network」：

1. “NavLab 1984 - 1994”

正如論文所討論的涤伐，這一系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)通過(guò)普通的監(jiān)督學(xué)習(xí)學(xué)會(huì)使用傳感器以及人類駕駛時(shí)記錄下的駕駛數(shù)據(jù)來(lái)控制車輛馒胆。也有研究教會(huì)機(jī)器人專門使用強(qiáng)化學(xué)習(xí)，正如1993年博士論文「Reinforcement learning for robots using neural networks」所示例的凝果。論文表明祝迂，機(jī)器人能學(xué)會(huì)一些動(dòng)作，比如器净，沿著墻壁行走型雳，或者在合理時(shí)間范圍內(nèi)通過(guò)門，考慮到之前倒立擺工作所需的長(zhǎng)得不切實(shí)際的訓(xùn)練時(shí)間山害，這真是件好事纠俭。

這些發(fā)生在其他領(lǐng)域中的運(yùn)用當(dāng)然很酷，但是浪慌，當(dāng)然多數(shù)強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究發(fā)生在人工智能和機(jī)器學(xué)習(xí)范圍內(nèi)冤荆。而且，我們也在這一范圍內(nèi)取得了強(qiáng)化學(xué)習(xí)史上最重要的成績(jī)之一：一個(gè)學(xué)習(xí)并成為西洋雙陸棋世界級(jí)玩家的神經(jīng)網(wǎng)絡(luò)权纤。研究人員用標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)算法來(lái)訓(xùn)練這個(gè)被稱為TD-Gammon的神經(jīng)網(wǎng)絡(luò)钓简，它也是第一個(gè)證明強(qiáng)化學(xué)習(xí)能夠在相對(duì)復(fù)雜任務(wù)中勝過(guò)人類的證據(jù)。而且汹想，這是個(gè)特別的加強(qiáng)學(xué)習(xí)辦法外邓，同樣的僅采用神經(jīng)網(wǎng)絡(luò)（沒(méi)有加強(qiáng)學(xué)習(xí)）的系統(tǒng)，表現(xiàn)沒(méi)這么好古掏。

但是，正如之前已經(jīng)看到槽唾，接下來(lái)也會(huì)在人工智能領(lǐng)域再次看到丧枪，研究進(jìn)入死胡同光涂。下一個(gè)要用TD-Gammnon辦法解決的問(wèn)題，Sebastian Thrun已經(jīng)在1995年「Learning To Play the Game of Chess」中研究過(guò)了豪诲，結(jié)果不是很好..盡管神經(jīng)網(wǎng)絡(luò)表現(xiàn)不俗顶捷，肯定比一個(gè)初學(xué)者要好，但和很久以前實(shí)現(xiàn)的標(biāo)準(zhǔn)計(jì)算機(jī)程序GNU-Chess相比屎篱，要遜色得多服赎。人工智能長(zhǎng)期面臨的另一個(gè)挑戰(zhàn)——圍棋，亦是如此交播。這樣說(shuō)吧重虑，TD-Gammon 有點(diǎn)作弊了——它學(xué)會(huì)了精確評(píng)估位置，因此秦士，無(wú)需對(duì)接下來(lái)的好多步做任何搜索缺厉，只用選擇可以占據(jù)下一個(gè)最有利位置的招數(shù)。但是隧土，在象棋游戲和圍棋游戲里提针，這些游戲?qū)θ斯ぶ悄芏允且粋€(gè)挑戰(zhàn)，因?yàn)樾枰A(yù)估很多步曹傀，可能的行動(dòng)組合如此之巨辐脖。而且，就算算法更聰明皆愉，當(dāng)時(shí)的硬件又跟不上嗜价，Thrun稱「NeuroChess不怎么樣，因?yàn)樗汛蟛糠謺r(shí)間花在評(píng)估棋盤上了幕庐。計(jì)算大型神經(jīng)網(wǎng)絡(luò)函數(shù)耗時(shí)是評(píng)價(jià)優(yōu)化線性評(píng)估函數(shù)（an optimized linear evaluation function）久锥，比如GNU-Chess，的兩倍异剥∩桑」當(dāng)時(shí)，計(jì)算機(jī)相對(duì)于神經(jīng)網(wǎng)絡(luò)需求的不足是一個(gè)很現(xiàn)實(shí)的問(wèn)題冤寿，而且正如我們將要看到的错妖，這不是唯一一個(gè)…

****神經(jīng)網(wǎng)絡(luò)變得呆頭呆腦****

盡管無(wú)監(jiān)督學(xué)習(xí)和加強(qiáng)學(xué)習(xí)很簡(jiǎn)潔，監(jiān)督學(xué)習(xí)仍然是我最喜歡的神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例疚沐。誠(chéng)然，學(xué)習(xí)數(shù)據(jù)的概率模型很酷潮模，但是亮蛔，通過(guò)反向傳播解決實(shí)際問(wèn)題更容易讓人興奮。我們已經(jīng)看到了Yann Lecun成功解決了識(shí)別手寫(xiě)的問(wèn)題（這一技術(shù)繼續(xù)被全國(guó)用來(lái)掃描支票擎厢，而且后來(lái)的使用更多）究流，另一項(xiàng)顯而易見(jiàn)且相當(dāng)重要的任務(wù)也在同時(shí)進(jìn)行著：理解人類的語(yǔ)音辣吃。

和識(shí)別手寫(xiě)一樣，理解人類的語(yǔ)音很難芬探，同一個(gè)詞根據(jù)表達(dá)的不同神得，意思也有很多變化。不過(guò)偷仿，還有額外的挑戰(zhàn)：長(zhǎng)序列的輸入哩簿。你看，如果是圖片酝静，你就可以把字母從圖片中切出來(lái)节榜，然后，神經(jīng)網(wǎng)絡(luò)就能告訴你這個(gè)字母是啥别智，輸入-輸出模式宗苍。但語(yǔ)言就沒(méi)那么容易了，把語(yǔ)音拆成字母完全不切實(shí)際薄榛，就算想要找出語(yǔ)音中的單詞也沒(méi)那么容易讳窟。而且你想啊，聽(tīng)到語(yǔ)境中的單詞相比單個(gè)單詞敞恋，要好理解一點(diǎn)吧丽啡！盡管輸入-輸出模式用來(lái)逐個(gè)處理圖片相當(dāng)有效，這并不適用于很長(zhǎng)的信息耳舅，比如音頻或文本碌上。神經(jīng)網(wǎng)絡(luò)沒(méi)有記憶賴以處理一個(gè)輸入能影響后續(xù)的另一個(gè)輸入的情況，但這恰恰是我們?nèi)祟愄幚硪纛l或者文本的方式——輸入一串單詞或者聲音浦徊，而不是單獨(dú)輸入馏予。要點(diǎn)是：要解決理解語(yǔ)音的問(wèn)題，研究人員試圖修改神經(jīng)網(wǎng)絡(luò)來(lái)處理一系列輸入（就像語(yǔ)音中的那樣）而不是批量輸入（像圖片中那樣）盔性。

Alexander Waibel等人（還有Hinton）提出的解決方法之一霞丧，在1989年的「 Phoneme recognition using time-delay neural networks」中得到了介紹。這些時(shí)延神經(jīng)網(wǎng)絡(luò)和通常意義上的神經(jīng)網(wǎng)絡(luò)非常類似冕香，除了每個(gè)神經(jīng)元只處理一個(gè)輸入子集蛹尝，而且為不同類型的輸入數(shù)據(jù)延遲配備了幾套權(quán)重。易言之悉尾，針對(duì)一系列音頻輸入突那，一個(gè)音頻的「移動(dòng)窗口」被輸入到神經(jīng)網(wǎng)絡(luò)，而且隨著窗口移動(dòng)构眯，每個(gè)帶有幾套不同權(quán)重的神經(jīng)元就會(huì)根據(jù)這段音頻在窗口中位置愕难，賦予相應(yīng)的權(quán)重，用這種方法來(lái)處理音頻。畫(huà)張圖就好理解了：

從某種意義上來(lái)說(shuō)猫缭，這和卷積神經(jīng)網(wǎng)絡(luò)差不多——每個(gè)單元一次只看一個(gè)輸入子集葱弟，對(duì)每個(gè)小子集進(jìn)行相同的運(yùn)算，而不是一次性計(jì)算整個(gè)集合猜丹。不同之處在于芝加，在卷積神經(jīng)網(wǎng)絡(luò)中不存在時(shí)間概念， 每個(gè)神經(jīng)元的輸入窗形成整個(gè)輸入圖像來(lái)計(jì)算出一個(gè)結(jié)果射窒，而時(shí)延神經(jīng)網(wǎng)絡(luò)中有一系列的輸入和輸出藏杖。一個(gè)有趣的事實(shí)：據(jù)Hinton說(shuō)，時(shí)延神經(jīng)網(wǎng)絡(luò)的理念啟發(fā)了LeCun開(kāi)發(fā)卷積神經(jīng)網(wǎng)絡(luò)轮洋。但是制市，好笑的是，積卷神經(jīng)網(wǎng)絡(luò)變得對(duì)圖像處理至關(guān)重要弊予，而在語(yǔ)音識(shí)別方面祥楣，時(shí)延神經(jīng)網(wǎng)絡(luò)則敗北于另一種方法——遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)。你看汉柒，目前為止討論過(guò)的所有神經(jīng)網(wǎng)絡(luò)都是前歸網(wǎng)絡(luò)误褪，這意味著某神經(jīng)元的輸出是下一層神經(jīng)元的輸入。但并不一定要這樣碾褂，沒(méi)有什么阻止我們勇敢的計(jì)算機(jī)科學(xué)家將最后一層的輸出變成第一層的輸入兽间，或者將神經(jīng)元的輸出連接到神經(jīng)元自身。將神經(jīng)元回路接回神經(jīng)網(wǎng)絡(luò)正塌，賦予神經(jīng)網(wǎng)絡(luò)記憶就被優(yōu)雅地解決了嘀略。

然而鸠天，這可沒(méi)有那么容易讼育。注意這個(gè)問(wèn)題——如果反向傳播需要依賴『正向傳播』將輸出層的錯(cuò)誤反饋回來(lái)，那么稠集，如果第一層往回連接到輸出層奶段，系統(tǒng)怎么工作？錯(cuò)誤會(huì)繼續(xù)傳到第一層再傳回到輸出層剥纷，在神經(jīng)網(wǎng)絡(luò)中循環(huán)往復(fù)痹籍，無(wú)限次地。解決辦法是晦鞋，通過(guò)多重群組獨(dú)立推導(dǎo)词裤，通過(guò)時(shí)間進(jìn)行反向傳播刺洒。基本來(lái)說(shuō)吼砂，就是將每個(gè)通過(guò)神經(jīng)網(wǎng)絡(luò)的回路做為另一個(gè)神經(jīng)網(wǎng)絡(luò)的輸入，而且回路次數(shù)有限鼎文，通過(guò)這樣的辦法把遞歸神經(jīng)網(wǎng)絡(luò)鋪開(kāi)渔肩。

這個(gè)很簡(jiǎn)單的想法真的起作用了——訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)是可能的拇惋。并且周偎，有很多人探索出了RNN在語(yǔ)言識(shí)別領(lǐng)域的應(yīng)用。但是撑帖，你可能也聽(tīng)說(shuō)過(guò)其中的波折：這一方法效果并不是很好蓉坎。為了找出原因，讓我們來(lái)認(rèn)識(shí)另一位深度學(xué)習(xí)的巨人：Yoshua Bengion胡嘿。大約在1986年蛉艾，他就開(kāi)始進(jìn)行語(yǔ)言識(shí)別方向的神經(jīng)網(wǎng)絡(luò)研究工作，也參與了許多使用ANN和RNN進(jìn)行語(yǔ)言識(shí)別的學(xué)術(shù)論文衷敌，最后進(jìn)入AT&T BELL實(shí)驗(yàn)室工作勿侯，Yann LeCun正好也在那里攻克CNN。 實(shí)際上缴罗，1995年助琐，兩位共同發(fā)表了文章「Convolutional Networks for Images, Speech, and Time-Series」，這是他們第一次合作面氓，后來(lái)他們也進(jìn)行了許多合作兵钮。但是，早在1993年舌界，Bengio曾發(fā)表過(guò)「A Connectionist Approach to Speech Recognition」掘譬。其中，他對(duì)有效訓(xùn)練RNN的一般錯(cuò)誤進(jìn)行了歸納：

盡管在許多例子中禀横，遞歸網(wǎng)絡(luò)能勝過(guò)靜態(tài)網(wǎng)絡(luò)屁药，但是，優(yōu)化訓(xùn)練起來(lái)也更有難度柏锄。我們的實(shí)驗(yàn)傾向于顯示（遞歸神經(jīng)網(wǎng)絡(luò)）的參數(shù)調(diào)整往往收斂在亞優(yōu)化的解里面酿箭，（這種解）只考慮了短效應(yīng)影響因子而不計(jì)長(zhǎng)效影響因子。例如趾娃，在所述實(shí)驗(yàn)中我們發(fā)現(xiàn)缭嫡，RNN根本捕獲不到單音素受到的簡(jiǎn)單時(shí)間約束…雖然這是一個(gè)消極的結(jié)果，但是抬闷，更好地理解這一問(wèn)題可以幫助設(shè)計(jì)替代系統(tǒng)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)妇蛀，讓它學(xué)會(huì)通過(guò)長(zhǎng)效影響因子耕突，將輸出序列映射到輸入序列（map input sequences to output sequences with long term dependencies ），比如评架，為了學(xué)習(xí)有限狀態(tài)機(jī)眷茁，語(yǔ)法，以及其他語(yǔ)言相關(guān)的任務(wù)纵诞。既然基于梯度的方法顯然不足以解決這類問(wèn)題上祈，我們要考慮其他最優(yōu)辦法，得出可以接受的結(jié)論浙芙，即使當(dāng)判別函數(shù)（criterion function）并不平滑時(shí)登刺。

****新的冬日黎明****

因此，有一個(gè)問(wèn)題嗡呼。一個(gè)大問(wèn)題纸俭。而且，基本而言南窗，這個(gè)問(wèn)題就是近來(lái)的一個(gè)巨大成就：反向傳播揍很。卷積神經(jīng)網(wǎng)絡(luò)在這里起到了非常重要的作用，因?yàn)榉聪騻鞑ピ谟兄芏喾謱拥囊话闵窠?jīng)網(wǎng)絡(luò)中表現(xiàn)并不好矾瘾。然而女轿，深度學(xué)習(xí)的一個(gè)關(guān)鍵就是——很多分層，現(xiàn)在的系統(tǒng)大概有20左右的分層壕翩。但是蛉迹，二十世紀(jì)八十年代后期，人們就發(fā)現(xiàn)放妈，用反向傳播來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)效果并不盡如人意北救，尤其是不如對(duì)較少層數(shù)的網(wǎng)絡(luò)訓(xùn)練的結(jié)果。原因就是反向傳播依賴于將輸出層的錯(cuò)誤找到并且連續(xù)地將錯(cuò)誤原因歸類到之前的各個(gè)分層芜抒。然而珍策，在如此大量的層次下，這種數(shù)學(xué)基礎(chǔ)的歸咎方法最終產(chǎn)生了不是極大就是極小的結(jié)果宅倒，被稱為『梯度消失或爆炸的問(wèn)題』攘宙，Jurgen Schmidhuber——另一位深度學(xué)習(xí)的權(quán)威，給出了更正式也更深刻的歸納：

一篇學(xué)術(shù)論文（發(fā)表于1991年拐迁，作者Hochreiter）曾經(jīng)對(duì)深度學(xué)習(xí)研究給予了里程碑式的描述蹭劈。文中第五、第六部分提到：二十世紀(jì)九十年代晚期线召，有些實(shí)驗(yàn)表明铺韧，前饋或遞歸深度神經(jīng)網(wǎng)絡(luò)是很難用反向傳播法進(jìn)行訓(xùn)練的（見(jiàn)5.5）。Horchreiter在研究中指出了導(dǎo)致問(wèn)題的一個(gè)主要原因：傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)遭遇了梯度消失或爆炸問(wèn)題缓淹。在標(biāo)準(zhǔn)激活狀態(tài)下（見(jiàn)1）哈打，累積的反向傳播錯(cuò)誤信號(hào)不是迅速收縮塔逃，就是超出界限。實(shí)際上料仗，他們隨著層數(shù)或CAP深度的增加湾盗，以幾何數(shù)衰減或爆炸（使得對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行有效訓(xùn)練幾乎是不可能的事）。

通過(guò)時(shí)間順序扁平化BP路徑本質(zhì)上跟具有許多層的神經(jīng)網(wǎng)絡(luò)一樣罢维，所以淹仑，用反向傳播來(lái)訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)是比較困難的。由Schmidhuber指導(dǎo)的Sepp Hochreiter及Yoshua Bengio都寫(xiě)過(guò)文章指出肺孵，由于反向傳播的限制，學(xué)習(xí)長(zhǎng)時(shí)間的信息是行不通的颜阐。分析問(wèn)題以后其實(shí)是有解決辦法的平窘，Schmidhuber 及 Hochreiter在1997年引進(jìn)了一個(gè)十分重要的概念，這最終解決了如何訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)的問(wèn)題凳怨，這就是長(zhǎng)短期記憶（Long Short Term Memory, LSTM）瑰艘。簡(jiǎn)言之，卷積神經(jīng)網(wǎng)絡(luò)及長(zhǎng)短期記憶的突破最終只為正常的神經(jīng)網(wǎng)絡(luò)模型帶來(lái)了一些小改動(dòng)：

LSTM的基本原理十分簡(jiǎn)單肤舞。當(dāng)中有一些單位被稱為恒常誤差木馬（Constant Error Carousels紫新， CECs）。每個(gè)CEC使用一個(gè)激活函數(shù) f李剖，它是一個(gè)恒常函數(shù)芒率，並有一個(gè)與其自身的連接，其固定權(quán)重為1.0篙顺。由於 f 的恒常導(dǎo)數(shù)為1.0偶芍，通過(guò)CEC的誤差反向傳播將不會(huì)消失或爆炸（5.9節(jié)），而是保持原狀（除非它們從CEC「流出」到其他一些地方德玫，典型的是「流到」神經(jīng)網(wǎng)絡(luò)的自適應(yīng)部分）匪蟀。CEC被連接到許多非線性自適應(yīng)單元上（有一些單元具有乘法的激活函數(shù)），因此需要學(xué)習(xí)非線性行為宰僧。單元的權(quán)重改變經(jīng)常得益于誤差信號(hào)在時(shí)間里通過(guò)CECs往后傳播材彪。為什么LSTM網(wǎng)絡(luò)可以學(xué)習(xí)探索發(fā)生在幾千個(gè)離散時(shí)間步驟前的事件的重要性，而之前的遞歸神經(jīng)網(wǎng)絡(luò)對(duì)于很短的時(shí)間步驟就已經(jīng)失敗了呢琴儿？CEC是最主要的原因段化。

但這對(duì)于解決更大的知覺(jué)問(wèn)題，即神經(jīng)網(wǎng)絡(luò)比較粗糙凤类、沒(méi)有很好的表現(xiàn)這一問(wèn)題是沒(méi)有太大幫助的穗泵。用它們來(lái)工作是十分麻煩的——電腦不夠快、算法不夠聰明谜疤，人們不開(kāi)心佃延。所以在九十年代左右现诀，對(duì)于神經(jīng)網(wǎng)絡(luò)一個(gè)新的AI寒冬開(kāi)始來(lái)臨——社會(huì)對(duì)它們?cè)俅问バ判摹Ｒ粋€(gè)新的方法履肃，被稱為支持向量機(jī)（Support Vector Machines）仔沿，得到發(fā)展并且漸漸被發(fā)現(xiàn)是優(yōu)于先前棘手的神經(jīng)網(wǎng)絡(luò)。簡(jiǎn)單的說(shuō)尺棋，支持向量機(jī)就是對(duì)一個(gè)相當(dāng)于兩層的神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)學(xué)上的最優(yōu)訓(xùn)練封锉。事實(shí)上，在1995年膘螟，LeCun的一篇論文成福，「 Comparison of Learning Algorithms For Handwritten Digit Recognition」，就已經(jīng)討論了這個(gè)新的方法比先前最好的神經(jīng)網(wǎng)絡(luò)工作得更好荆残，最起碼也表現(xiàn)一樣奴艾。

支持向量機(jī)分類器具有非常棒的準(zhǔn)確率，這是最顯著的優(yōu)點(diǎn)内斯，因?yàn)榕c其他高質(zhì)量的分類器比蕴潦，它對(duì)問(wèn)題不包含有先驗(yàn)的知識(shí)。事實(shí)上俘闯，如果一個(gè)固定的映射被安排到圖像的像素上潭苞，這個(gè)分類器同樣會(huì)有良好的表現(xiàn)。比起卷積網(wǎng)絡(luò)真朗，它依然很緩慢此疹，并占用大量?jī)?nèi)存。但由于技術(shù)仍較新蜜猾，改善是可以預(yù)期的秀菱。

另外一些新的方法，特別是隨機(jī)森林（Random Forests）蹭睡，也被證明十分有效衍菱，并有強(qiáng)大的數(shù)學(xué)理論作為后盾。因此肩豁，盡管遞歸神經(jīng)網(wǎng)絡(luò)始終有不俗的表現(xiàn)脊串，但對(duì)于神經(jīng)網(wǎng)絡(luò)的熱情逐步減退，機(jī)器學(xué)習(xí)社區(qū)再次否認(rèn)了它們清钥。寒冬再次降臨琼锋。在第四部分，我們會(huì)看到一小批研究者如何在這條坎坷的道路上前行祟昭，并最終讓深度學(xué)習(xí)以今天的面貌向大眾展現(xiàn)缕坎。

參考文獻(xiàn)：
Anderson, C. W. (1989). Learning to control an inverted pendulum using neural networks. Control Systems Magazine, IEEE, 9(3), 31-37.

Narendra, K. S., & Parthasarathy, K. (1990). Identification and control of dynamical systems using neural networks. Neural Networks, IEEE Transactions on, 1(1), 4-27.

Lin, L. J. (1993). Reinforcement learning for robots using neural networks (No. CMU-CS-93-103). Carnegie-Mellon Univ Pittsburgh PA School of Computer Science.

Tesauro, G. (1995). Temporal difference learning and TD-Gammon. Communications of the ACM, 38(3), 58-68.

Thrun, S. (1995). Learning to play the game of chess. Advances in neural information processing systems, 7.

Schraudolph, N. N., Dayan, P., & Sejnowski, T. J. (1994). Temporal difference learning of position evaluation in the game of Go. Advances in Neural Information Processing Systems, 817-817.

Waibel, A., Hanazawa, T., Hinton, G., Shikano, K., & Lang, K. J. (1989). Phoneme recognition using time-delay neural networks. Acoustics, Speech and Signal Processing, IEEE Transactions on, 37(3), 328-339.

Yann LeCun and Yoshua Bengio. 1998. Convolutional networks for images, speech, and time series. In The handbook of brain theory and neural networks, Michael A. Arbib (E()d.). MIT Press, Cambridge, MA, USA 255-258.

Yoshua Bengio, A Connectionist Approach To Speech Recognition Int. J. Patt. Recogn. Artif. Intell., 07, 647 (1993).

J. Schmidhuber. “Deep Learning in Neural Networks: An Overview”. “Neural Networks”, “61”, “85-117”. http://arxiv.org/abs/1404.7828

Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institutfur Informatik, Lehrstuhl Prof. Brauer, Technische Universitat Munchen. Advisor: J. Schmidhuber.

Bengio, Y.; Simard, P.; Frasconi, P., “Learning long-term dependencies with gradient descent is difficult,” in Neural Networks, IEEE Transactions on , vol.5, no.2, pp.157-166, Mar 1994

Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long Short-Term Memory. Neural Comput. 9, 8 (November 1997), 1735-1780. DOI=http://dx.doi.org/10.1162/neco.1997.9.8.1735.

Y. LeCun, L. D. Jackel, L. Bottou, A. Brunot, C. Cortes, J. S. Denker, H. Drucker, I. Guyon, U. A. Muller, E. Sackinger, P. Simard and V. Vapnik: Comparison of learning algorithms for handwritten digit recognition, in Fogelman, F. and Gallinari, P. (Eds), International Conference on Artificial Neural Networks, 53-60, EC2 & Cie, Paris, 1995