姓名：周雪寧

學(xué)號：1702110196

轉(zhuǎn)載：https://mp.weixin.qq.com/s/V7WTcs_yi9qDil3Z1vjwvg

【嵌牛導(dǎo)讀】：本文總結(jié)了10個強(qiáng)大的深度學(xué)習(xí)方法仇奶，包括反向傳播貌嫡、隨機(jī)梯度下降、學(xué)習(xí)率衰減该溯、Dropout岛抄、最大池化、批量歸一化狈茉、長短時記憶夫椭、Skip-gram、連續(xù)詞袋氯庆、遷移學(xué)習(xí)等蹭秋，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問題的扰付。

【嵌牛鼻子】：深度學(xué)習(xí)

【嵌牛提問】：如今最常用的深度學(xué)習(xí)方法，如何進(jìn)行歸納總結(jié)仁讨？

【嵌牛正文】：

過去10年羽莺，人們對機(jī)器學(xué)習(xí)的興趣激增洞豁。幾乎每天，你都可以在各種各樣的計(jì)算機(jī)科學(xué)課程刁卜、行業(yè)會議、華爾街日報(bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論礁哄。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中长酗，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講桐绒，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息夺脾，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數(shù)據(jù)茉继。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型咧叭，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)（node）烁竭，基本上是受哺乳動物大腦中的生物神經(jīng)元啟發(fā)菲茬。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發(fā)展的方式是為“訓(xùn)練”派撕。

在20世紀(jì)80年代中期和90年代初期婉弹，許多重要的架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)進(jìn)行的。然而终吼，為了得到好的結(jié)果需要大量時間和數(shù)據(jù)镀赌，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了际跪。在21世紀(jì)初商佛，計(jì)算能力呈指數(shù)級增長，計(jì)算技術(shù)出現(xiàn)了“寒武紀(jì)大爆發(fā)”姆打。在這個10年的爆炸式的計(jì)算增長中良姆，深度學(xué)習(xí)成為這個領(lǐng)域的重要的競爭者，贏得了許多重要的機(jī)器學(xué)習(xí)競賽幔戏。直到2017年玛追，這種興趣也還沒有冷卻下來；今天闲延，我們看到一說機(jī)器學(xué)習(xí)痊剖，就不得不提深度學(xué)習(xí)伯复。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學(xué)習(xí)的動機(jī)邢笙，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計(jì)。在課程項(xiàng)目中想暗，我使用并開發(fā)了用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)说莫，用于自然語言處理的嵌入式神經(jīng)網(wǎng)絡(luò)储狭，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長短期記憶的字符級文本生成辽狈。

本文中刮萌，作者總結(jié)了10個強(qiáng)大的深度學(xué)習(xí)方法着茸，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問題的涮阔。首先澎语，下面這張圖直觀地說明了人工智能擅羞、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系减俏。

人工智能的領(lǐng)域很廣泛奏夫，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個子集，機(jī)器學(xué)習(xí)又是人工智能的一個子領(lǐng)域廊谓。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開來的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元

更復(fù)雜的連接層的方法

用于訓(xùn)練網(wǎng)絡(luò)的計(jì)算機(jī)能力的“寒武紀(jì)大爆炸”

自動特征提取

這里說的“更多的神經(jīng)元”時，是指神經(jīng)元的數(shù)量在逐年增加叠荠，以表達(dá)更復(fù)雜的模型榛鼎。層（layers）也從多層網(wǎng)絡(luò)中的每一層都完全連接者娱，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元肺然，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接（recurrent connections）际起。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)

在本文中灾前，主要介紹后三種架構(gòu)哎甲√棵担基本上吞加，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一個標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)衔憨，通過共享的權(quán)重在空間中擴(kuò)展。CNN設(shè)計(jì)用于通過內(nèi)部的卷積來識別圖像掺冠，它可以看到圖像中待識別的物體的邊緣赫舒。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）被設(shè)計(jì)用于識別序列心赶，例如語音信號或文本缨叫。它的內(nèi)部有循環(huán)销钝，這意味著網(wǎng)絡(luò)上有短的記憶蒸健。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個層級網(wǎng)絡(luò)似忧，在這個網(wǎng)絡(luò)中，輸入必須以一種樹的方式進(jìn)行分層處理蘑秽。下面的10種方法可以應(yīng)用于所有這些架構(gòu)幼衰。

1. 反向傳播

反向傳播（Back-prop）是一種計(jì)算函數(shù)偏導(dǎo)數(shù)（或梯度）的方法塑顺，具有函數(shù)構(gòu)成的形式（就像神經(jīng)網(wǎng)絡(luò)中）扬绪。當(dāng)使用基于梯度的方法（梯度下降只是方法之一）解決優(yōu)化問題時挤牛，你需要在每次迭代中計(jì)算函數(shù)梯度墓赴。

對于神經(jīng)網(wǎng)絡(luò)诫硕，目標(biāo)函數(shù)具有組合的形式章办。如何計(jì)算梯度呢？有兩種常用的方法：(i)解析微分（Analytic differentiation）休偶。你已經(jīng)知道函數(shù)的形式踏兜，只需要用鏈?zhǔn)椒▌t（基本微積分）來計(jì)算導(dǎo)數(shù)。(ii)利用有限差分進(jìn)行近似微分山橄。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)饮醇，N指代參數(shù)的數(shù)量观蓄。不過侮穿，有限差分通常用于在調(diào)試時驗(yàn)證back-prop實(shí)現(xiàn)毁嗦。

2. 隨機(jī)梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑亲茅。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端（山腳）狗准。

現(xiàn)在克锣，如果山的地形是這樣的，在到達(dá)最終目的地之前腔长，河流不會完全停下來（這是山腳的最低點(diǎn)袭祟，那么這就是我們想要的理想情況。）在機(jī)器學(xué)習(xí)中捞附，相當(dāng)從初始點(diǎn)（山頂）開始榕酒，我們找到了解決方案的全局最小（或最佳）解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個坑，這可能迫使河流陷入困境期贫。在機(jī)器學(xué)習(xí)術(shù)語中迹冤，這些坑被稱為局部極小值蚀瘸，這是不可取的寂嘉。有很多方法可以解決這個問題。

因此唾琼，梯度下降很容易被困在局部極小值趾唱，這取決于地形的性質(zhì)（用ML的術(shù)語來說是函數(shù)的性質(zhì))蒸辆。但是，當(dāng)你有一種特殊的地形時（形狀像一個碗，用ML的術(shù)語來說咳短，叫做凸函數(shù)）诚卸，算法總是保證能找到最優(yōu)解。凸函數(shù)對ML的優(yōu)化來說總是好事哲身，取決于函數(shù)的初始值商膊，你可能會以不同的路徑結(jié)束。同樣地未舟，取決于河流的速度（即昼扛，梯度下降算法的學(xué)習(xí)速率或步長），你可能以不同的方式到達(dá)最終目的地蛹含。這兩個標(biāo)準(zhǔn)都會影響到你是否陷入坑里（局部極小值）。

3. 學(xué)習(xí)率衰減

根據(jù)隨機(jī)梯度下降的優(yōu)化過程調(diào)整學(xué)習(xí)率（learning rate）可以提高性能并減少訓(xùn)練時間。 有時這被稱為學(xué)習(xí)率退火（?learning rate annealing）或自適應(yīng)學(xué)習(xí)率（adaptive learning rates）苟蹈。訓(xùn)練過程中最簡單染苛，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時間的推移而降低學(xué)習(xí)度鹊漠。

在訓(xùn)練過程開始時使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率茶行，使得后續(xù)對權(quán)重的訓(xùn)練更新更小躯概。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果畔师。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率娶靡。

在特定的時間點(diǎn)較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)茉唉。然而固蛾，過擬合在這樣的網(wǎng)絡(luò)中是一個嚴(yán)重的問題结执。大型網(wǎng)絡(luò)的使用也很緩慢度陆，這使得在測試時將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)合起來變得困難。Dropout是解決這個問題的一種方法献幔。

Dropout 的關(guān)鍵想法是在訓(xùn)練過程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units（以及它們的連接）從神經(jīng)網(wǎng)絡(luò)中刪除懂傀。這樣可以防止單元過度適應(yīng)。在訓(xùn)練過程中蜡感，從一個指數(shù)級的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本蹬蚁。在測試時恃泪，通過簡單地使用一個具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測效果犀斋。這顯著減少了過擬合贝乎，相比其他正則化方法有了很大改進(jìn)。研究表明叽粹，在視覺览效、語音識別、文檔分類和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中虫几，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高锤灿，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max?Pooling

最大池化（Max pooling）是一個基于樣本的離散化過程辆脸。目標(biāo)是對輸入表示（圖像但校，隱藏層輸出矩陣等）進(jìn)行下采樣，降低其維度啡氢，并允許對包含在分區(qū)域中的特征進(jìn)行假設(shè)状囱。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時空执，它通過減少學(xué)習(xí)的參數(shù)數(shù)量浪箭，并為內(nèi)部表示提供基本的平移不變性（translation invariance），從而減少計(jì)算成本辨绊。最大池化是通過將一個最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的奶栖。

6. 批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)门坷。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)宣鄙。

權(quán)重問題：無論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷默蚌，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)冻晤。考慮一個小批量（mini batch）绸吸，在最初時鼻弧，在所需的特征激活方面將會有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的锦茁，初始層中一個微小的擾動攘轩，就會導(dǎo)致后面層巨大的變化。在反向傳播過程中码俩，這些現(xiàn)象會導(dǎo)致對梯度的分散度帮，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時間才能收斂笨篷。

批量歸一化將梯度從分散規(guī)范化到正常值瞳秽，并在小批量范圍內(nèi)向共同目標(biāo)（通過歸一化）流動。

學(xué)習(xí)率問題：一般來說率翅，學(xué)習(xí)率保持較低练俐，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活冕臭。通過批量歸一化痰洒，減少異常激活，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程浴韭。

7. 長短時記憶

LSTM網(wǎng)絡(luò)在以下三個方面與RNN的神經(jīng)元不同：

能夠決定何時讓輸入進(jìn)入神經(jīng)元丘喻；

能夠決定何時記住上一個時間步中計(jì)算的內(nèi)容；

能夠決定何時讓輸出傳遞到下一個時間步長念颈。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來決定所有這些泉粉。所以，你看下面的圖表：

當(dāng)前時間標(biāo)記處的輸入信號x（t）決定所有上述3點(diǎn)榴芳。輸入門從點(diǎn)1接收決策嗡靡，遺忘門從點(diǎn)2接收決策，輸出門在點(diǎn)3接收決策窟感，單獨(dú)的輸入能夠完成所有這三個決定讨彼。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場景切換柿祈。

8. Skip-gram

詞嵌入模型的目標(biāo)是為每個詞匯項(xiàng)學(xué)習(xí)一個高維密集表示哈误，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型躏嚎。

Skip-gram模型（以及許多其他的詞語嵌入模型）的主要思想是：如果兩個詞匯項(xiàng)（vocabulary term）共享的上下文相似蜜自，那么這兩個詞匯項(xiàng)就相似。

換句話說，假設(shè)你有一個句子，比如“貓是哺乳動物”氯葬。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子戈鲁。因此在這個例子中，“狗”和“貓”可以共享相同的上下文（即“是哺乳動物”）嘹叫。

基于上述假設(shè)婆殿，你可以考慮一個上下文窗口（context window，一個包含k個連續(xù)項(xiàng)的窗口）待笑，然后你跳過其中一個單詞鸣皂，試著去學(xué)習(xí)一個能夠得到除跳過項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)抓谴，并預(yù)測跳過的項(xiàng)是什么暮蹂。如果兩個詞在一個大語料庫中反復(fù)共享相似的語境寞缝，則這些詞的嵌入向量將具有相近的向量。

9. 連續(xù)詞袋（Continuous Bag Of Words）

在自然語言處理問題中仰泻，我們希望學(xué)習(xí)將文檔中的每個單詞表示為一個數(shù)字向量荆陆，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中集侯，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測特定單詞被啼。

我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點(diǎn)，每當(dāng)我們看到一個單詞時棠枉，我們就會提取它周圍的單詞浓体。然后，我們將上下文單詞輸入到一個神經(jīng)網(wǎng)絡(luò)辈讶，并預(yù)測位于這個上下文中心的單詞命浴。

當(dāng)我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例贱除。訓(xùn)練神經(jīng)網(wǎng)絡(luò)生闲，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對大量的句子進(jìn)行訓(xùn)練時也能發(fā)現(xiàn)月幌，類似語境中的單詞得到的是相似的向量碍讯。

10. 遷移學(xué)習(xí)

讓我們考慮圖像如何穿過卷積神經(jīng)網(wǎng)絡(luò)。假設(shè)你有一個圖像扯躺，你應(yīng)用卷積捉兴，并得到像素的組合作為輸出。假設(shè)這些輸出是邊緣（edge）÷加铮現(xiàn)在再次應(yīng)用卷積轴术，現(xiàn)在你的輸出就是邊或線的組合。然后再次應(yīng)用卷積钦无，你的輸出是線的組合逗栽，以此類推……你可以把它看作是每一層尋找一個特定的模式。神經(jīng)網(wǎng)絡(luò)的最后一層往往會變得非常特異化失暂。如果你在ImageNet上工作彼宠，你的網(wǎng)絡(luò)最后一層大概就是在尋找兒童、狗或飛機(jī)等整體圖案弟塞。再往后倒退幾層凭峡，你可能會看到網(wǎng)絡(luò)在尋找眼睛或耳朵或嘴巴或輪子這樣的組成部件。

深度CNN中的每一層都逐步建立起越來越高層次的特征表征决记。最后幾層往往是專門針對輸入模型的數(shù)據(jù)摧冀。另一方面，早期的圖層更為通用。而遷移學(xué)習(xí)就是當(dāng)你在一個數(shù)據(jù)集上訓(xùn)練CNN時索昂，切掉最后一層建车，在不同的數(shù)據(jù)集上重新訓(xùn)練最后一層的模型。直觀地說椒惨，你正在重新訓(xùn)練模型以識別不同的高級特征缤至。因此，訓(xùn)練時間會減少很多康谆，所以當(dāng)你沒有足夠的數(shù)據(jù)或者訓(xùn)練需要太多的資源時领斥，遷移學(xué)習(xí)是一個有用的工具。

結(jié)語

這篇文章簡單介紹了深度學(xué)習(xí)沃暗，如果你想了解更多更深層次的東西月洛，建議你繼續(xù)閱讀以下資料：

Andrew Beam “Deep Learning 101”http://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html

Andrey Kurenkov “A Brief History of Neural Nets and Deep Learning”http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning/

Adit Deshpande? “A Beginner’s Guide to Understanding Convolutional Neural Networks”https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks/

Chris Olah “Understanding LSTM Networks”http://colah.github.io/posts/2015-08-Understanding-LSTMs/

Algobean? “Artificial Neural Networks”https://algobeans.com/2016/03/13/how-do-computers-recognise-handwriting-using-artificial-neural-networks/

Andrej Karpathy “The Unreasonable Effectiveness of Recurrent Neural Networks”http://karpathy.github.io/2015/05/21/rnn-effectiveness/

深度學(xué)習(xí)強(qiáng)烈注重技術(shù)。對每一個新想法都沒有太多具體的解釋孽锥。 大多數(shù)新想法都附帶了實(shí)驗(yàn)結(jié)果來證明它們能夠工作膊存。深度學(xué)習(xí)就像玩樂高。掌握樂高跟掌握其他藝術(shù)一樣具有挑戰(zhàn)性忱叭，但入門樂高可是相對容易很多的隔崎。祝你學(xué)習(xí)愉快~