神經(jīng)科學(xué)陨倡，依靠單一深度學(xué)習(xí)算法解決不同任務(wù)敛滋。視覺信號(hào)傳送到聽覺區(qū)域，大腦聽學(xué)習(xí)處理區(qū)域?qū)W會(huì)“看”(Von Melchner et al., 2000)兴革。計(jì)算單元互相作用變智能绎晃。新認(rèn)知機(jī)(Fukushima,1980)，哺乳動(dòng)物視覺系統(tǒng)結(jié)構(gòu)杂曲，處理圖片強(qiáng)大模型架構(gòu)庶艾，現(xiàn)代卷積網(wǎng)絡(luò)基礎(chǔ)(LeCun et al., 1998c)。神經(jīng)網(wǎng)絡(luò)基于整流線性單元(rectified linear unit)神經(jīng)單元模型擎勘。原始認(rèn)知機(jī)(Fukushima,1975)更復(fù)雜咱揍。簡化現(xiàn)代版，Nair and Hinton(2010b)和Glorot et al.(2011a) 神經(jīng)科學(xué)棚饵，Jarrett et al.(2009a) 面向工程煤裙。真實(shí)神經(jīng)元計(jì)算與現(xiàn)代整流線性單元不同函數(shù)，沒有提升性能噪漾。對(duì)神經(jīng)科學(xué)生物學(xué)習(xí)沒有足夠了解硼砰，不能為訓(xùn)練架構(gòu)學(xué)習(xí)算法提供借鑒。現(xiàn)代深度學(xué)習(xí)從應(yīng)用數(shù)學(xué)基本內(nèi)容(線性代數(shù)欣硼、概率論题翰、信息論、數(shù)值優(yōu)化)獲取靈感。計(jì)算神經(jīng)科學(xué)遍愿，大腦在算法層面工作，獨(dú)立于深度學(xué)習(xí)耘斩。深度學(xué)習(xí)領(lǐng)域關(guān)注構(gòu)建計(jì)算機(jī)系統(tǒng)沼填，解決智能解決任務(wù)。計(jì)算機(jī)器神經(jīng)科學(xué)關(guān)注構(gòu)建大腦真實(shí)工作括授、精確模型坞笙。

20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)第二次浪潮荚虚。聯(lián)結(jié)主義(connectionism)或并行分布處理(parallel distributed procession)(Rumelhart et al., 1986d;McClelland et al., 1995)薛夜。認(rèn)知科學(xué)，理解思維跨學(xué)科途徑版述，融合不多個(gè)不同分析層次梯澜。符號(hào)模型難解釋大腦用神經(jīng)元實(shí)現(xiàn)推理功能】饰觯基于神經(jīng)系統(tǒng)實(shí)現(xiàn)認(rèn)知模型(Touretzky and Minton, 1985)晚伙。心理學(xué)家Donald Hebb，20世界40年代工作(Hebb, 1949)俭茧。聯(lián)結(jié)主義咆疗，網(wǎng)絡(luò)將大量簡單計(jì)算單元連接在一起實(shí)現(xiàn)智能行為。同樣適用于生物神經(jīng)系統(tǒng)神經(jīng)元母债。

分布式表示(distributed representation)(Hinton et al., 1986)午磁。系統(tǒng)每一個(gè)輸入由多個(gè)特征表示，每一個(gè)特征參與到多個(gè)輸入表示毡们。反向傳播迅皇，訓(xùn)練具有內(nèi)部表示深度神經(jīng)網(wǎng)絡(luò)，反向傳播算法普及(Remelhart et al., 1986c;LeCun,1987)衙熔。訓(xùn)練深度模型主導(dǎo)方法喧半。

20世紀(jì)90年代，Hochreiter(1991b)和Bengion et al.(1994b)青责，長序列建模挺据。Hochreiter和Schmidhuber(1997)引入長短期記憶(logn short term memory, LSTM)網(wǎng)絡(luò)。LSTM 序列建模任務(wù)廣泛應(yīng)用脖隶，Google 自然語言處理任務(wù)扁耐。

第二次浪潮持續(xù)到20世紀(jì)90年代中期，機(jī)器學(xué)習(xí)其他領(lǐng)域产阱，核方法(Boser et al., 1992; Cortes and Vapnik, 1995; Scholkopf et al., 1999)婉称，圖模型(Jordan, 1998)在重要任務(wù)效果很好。神經(jīng)網(wǎng)絡(luò)熱潮第二次衰退，一直持續(xù)到2007年王暗。(LeCUN et al., 1998c; Bengio et al., 2001a)悔据。加拿大高級(jí)研究所(CIFAR)，神經(jīng)計(jì)算和自適應(yīng)感知(NCAP)研究計(jì)劃俗壹，聯(lián)合Geoffrey Hinton科汗、Yoshua Bengio、Yann LeCun領(lǐng)導(dǎo)多倫多大學(xué)绷雏、蒙特利爾大學(xué)头滔、紐約大學(xué)機(jī)器學(xué)習(xí)研究小組。包括神經(jīng)科學(xué)家涎显、人類和計(jì)算視覺專家坤检。20世紀(jì)80年代處法能工作得非常好，只是計(jì)算代價(jià)太高期吓，當(dāng)時(shí)可用硬件難進(jìn)行足夠?qū)嶒?yàn)早歇。

神經(jīng)網(wǎng)絡(luò)第三次浪潮，始于2006年突破讨勤。Geoffrey Hinton表明缺前，深度信念網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，用貪婪逐層訓(xùn)練策略可有效訓(xùn)練(Hinton et al., 2006a)。同樣策略可訓(xùn)練其他類型深度網(wǎng)絡(luò)(Bengio and LeCun, 2007a; Ranzato et al., 2007b)，系統(tǒng)提高測試樣例泛化能力捶惜。普通深度學(xué)習(xí)術(shù)語膏秫。強(qiáng)調(diào)訓(xùn)練比較深神經(jīng)網(wǎng)絡(luò)，深度理論重要性(Bengio and LeCun,2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。深度神經(jīng)網(wǎng)絡(luò)優(yōu)地其他機(jī)器學(xué)習(xí)技術(shù)及手工設(shè)計(jì)功能AI系統(tǒng)。第三次浪潮現(xiàn)在已開始著眼無監(jiān)督學(xué)習(xí)技術(shù)、深度模型小數(shù)據(jù)集泛化能力奶躯。更多興趣點(diǎn)極是監(jiān)督學(xué)習(xí)算法、深度模型充分利用大型標(biāo)注數(shù)據(jù)集能力亿驾。

與日俱增數(shù)據(jù)量嘹黔。訓(xùn)練數(shù)據(jù)增加，所需技巧減少莫瞬。復(fù)雜任務(wù)達(dá)到人類水平學(xué)習(xí)算法儡蔓，與20世紀(jì)80年代解決玩具問題(toy problem)一樣。簡化極深架構(gòu)訓(xùn)練疼邀。成功訓(xùn)練所需資源喂江。

20世紀(jì)初，統(tǒng)計(jì)學(xué)家用數(shù)百或數(shù)千手動(dòng)制作度量研究數(shù)據(jù)集(Garson,1900; Gosset,1908; Anderson, 1935; Fisher,1936)旁振。20世紀(jì)50年代到80年代获询，受生物啟發(fā)機(jī)器學(xué)習(xí)開拓者用小合成數(shù)據(jù)集涨岁，如低分辨率字母位圖，低計(jì)算成本下表明神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特定功能(Widrow and Hoff,1960; Rumelhart et al., 1986b)吉嚣。20世紀(jì)80年代和90年代梢薪，機(jī)器學(xué)習(xí)變得更偏統(tǒng)計(jì)，用成千上萬個(gè)樣本更大數(shù)據(jù)集尝哆，如手寫掃描數(shù)字MNIST數(shù)據(jù)集(LeCun et al., 1998c)秉撇。21世紀(jì)第一個(gè)10年，CIFAR-10數(shù)據(jù)集(Krizhevsky and Hinton,2009)较解。2011-2015畜疾，數(shù)萬到數(shù)千萬樣例數(shù)據(jù)集赴邻，完全改變深度學(xué)習(xí)可能實(shí)現(xiàn)印衔。公共Street View House Numbers數(shù)據(jù)集(Netzer et al., 2011)。各種版本ImageNet數(shù)據(jù)集(Deng et al., 2009,2010a; Russakovsky et al., 2014a)姥敛。Sprots-1M數(shù)據(jù)集(Karpathy et al., 2014)奸焙。翻譯句子數(shù)據(jù)集，Canadian Hansard IBM數(shù)據(jù)集(Brown et al., 1990)彤敛。WMT 2014英法數(shù)據(jù)集(Schwentk,2014)与帆。

社會(huì)日益數(shù)字化驅(qū)動(dòng)數(shù)據(jù)集大小增加∧活動(dòng)在計(jì)算機(jī)玄糟，記錄，聯(lián)網(wǎng)袄秩，集中管理阵翎，整理機(jī)器學(xué)習(xí)數(shù)據(jù)集。監(jiān)督ipwya學(xué)習(xí)算法之剧，每類5000個(gè)標(biāo)注樣本郭卫，可達(dá)到接受性能。1000萬個(gè)標(biāo)注樣本數(shù)據(jù)集訓(xùn)練背稼，達(dá)到或超過人類表現(xiàn)贰军。更小數(shù)據(jù)集，無監(jiān)督或半監(jiān)督學(xué)習(xí)未標(biāo)注樣本蟹肘。

MNIST數(shù)據(jù)集词疼。“NIST”帘腹，國家標(biāo)準(zhǔn)和技術(shù)研究所(National Institute of Standards and Technology)寒跳。“M”竹椒，修改(Modified)童太，更容易與機(jī)器學(xué)習(xí)算法一起用，數(shù)據(jù)預(yù)處理。MNIST數(shù)據(jù)集书释，手寫數(shù)字掃描翘贮、標(biāo)簽(每個(gè)圖像包含0~9數(shù)字)。深度學(xué)習(xí)最簡單最廣泛測試爆惧。Geoffrey Hinton狸页，機(jī)器學(xué)習(xí)果蠅。在受控實(shí)驗(yàn)室條件研究算法扯再。

與日俱增模型規(guī)模(每個(gè)神經(jīng)元連接數(shù))∩衷牛現(xiàn)在擁有計(jì)算資源可運(yùn)行更大模型。聯(lián)結(jié)主義熄阻，動(dòng)物很多神經(jīng)元一起工作變聰明斋竞。最初，人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元連接數(shù)受限硬件能力秃殉，現(xiàn)在主要是出于設(shè)計(jì)考慮坝初。

神經(jīng)元總數(shù)目，神經(jīng)網(wǎng)絡(luò)驚人的小钾军。隱藏單元引入鳄袍，人工神經(jīng)網(wǎng)絡(luò)規(guī)模每2.4年擴(kuò)大一倍。更大內(nèi)存吏恭、更快計(jì)算機(jī)機(jī)拗小、更大可用數(shù)據(jù)集驅(qū)動(dòng)。更大網(wǎng)絡(luò)在更復(fù)雜任務(wù)實(shí)現(xiàn)更高精度樱哼。至少21世紀(jì)50年代哀九，人工神經(jīng)網(wǎng)絡(luò)才具備人腦相同數(shù)量級(jí)神經(jīng)元。生物神經(jīng)元表示功能比目前人工神經(jīng)元表示更復(fù)雜唇礁。

感知機(jī)(Rosenblatt,1958,1962)勾栗。自適應(yīng)線性單元(Widrow and Hoff,1960)。神經(jīng)認(rèn)知機(jī)(Fukushima盏筐，1980)围俘。早期后向傳播網(wǎng)絡(luò)(Rumelhart et al., 1986b)。用于語音識(shí)別循環(huán)神經(jīng)網(wǎng)絡(luò)(Robinson and Fallside,1991)琢融。用于語音識(shí)別多層感知機(jī)(Bengio et al., 1991)界牡。均勻場sigmoid信念網(wǎng)絡(luò)(Saul et al., 1996)。LeNet5 (LeCun et al., 1998c)漾抬∷尥觯回聲壯態(tài)網(wǎng)絡(luò)(Jaeger and Haas,2004)。深度信念網(wǎng)絡(luò)(Hinton et al., 2006a)纳令。GPU加速卷積網(wǎng)絡(luò)(Chellapilla et al., 2006)挽荠。深度玻爾茲曼機(jī)(Salakhutdinov and Hinton,2009a)克胳。GPU加速深度信念網(wǎng)絡(luò)(Raina et al., 2009a)。無監(jiān)督卷積網(wǎng)絡(luò)(Jarrett et al., 2009b)圈匆。GPU加速多層感知機(jī)(Ciresan et al., 2010)漠另。OMP-1網(wǎng)絡(luò)(Coates and Ng,2011)。分布式自編碼器(Le et al., 2012)跃赚。Multi-GPU卷積網(wǎng)絡(luò)(Krizhevsky et al., 2012a)笆搓。COTS HPC 無監(jiān)督卷積網(wǎng)絡(luò)(Coates et al., 2013)。GoogleNet(Szegedy et al., 2014a)纬傲。

與日俱增精度满败、復(fù)雜度，對(duì)現(xiàn)實(shí)世界沖擊叹括。最早深度模型算墨，識(shí)別裁剪緊湊且非常小圖像單個(gè)對(duì)象(Rumelhart et al., 1986d)。神經(jīng)網(wǎng)絡(luò)處理圖像尺寸逐漸增加×旎現(xiàn)代對(duì)象識(shí)別網(wǎng)絡(luò)處理豐富高分辨率照片米同，不需要被識(shí)別對(duì)象附近裁剪(Krizhevsky et al., 2012b)『龋現(xiàn)代網(wǎng)絡(luò)能識(shí)別到少1000個(gè)不同類別對(duì)象摔竿。ImageNet大型視覺識(shí)別挑戰(zhàn)(ILSVRC)，每年舉行少孝。卷積網(wǎng)絡(luò)第一次大幅贏得挑戰(zhàn)继低，前5錯(cuò)誤率從26.1%降到15.3%(Krizhevsky et al.,2012b)。網(wǎng)絡(luò)針對(duì)每個(gè)圖像可能類別生成順序列表稍走，除15.3%測試樣本袁翁，其他測試樣本正確類標(biāo)出現(xiàn)在列表前5項(xiàng)。深度卷積網(wǎng)絡(luò)連續(xù)贏得比賽婿脸，深度學(xué)習(xí)前5錯(cuò)誤率降到3.6%粱胜。Russakovsky et al.(2014b)和He et al.(2015)。

語音識(shí)別狐树，20世紀(jì)90年代后焙压，直到2000年停滯不前。深度學(xué)習(xí)引入(Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a)抑钟，語音識(shí)別錯(cuò)誤率下降涯曲。

深度網(wǎng)絡(luò)行人檢測、圖像分割得到成功(Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013)在塔，交通標(biāo)志分類取得超越人類表現(xiàn)(Ciresan et al., 2012)幻件。

Goodfellow et al.(2014d)，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸出描述圖像整個(gè)符序列蛔溃。此前绰沥，學(xué)習(xí)需要對(duì)序列每個(gè)元素標(biāo)注(Gulcehre and Bengio,2013)篱蝇。循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM序列模型徽曲，對(duì)序列和其他序列關(guān)系建模态兴。序列到序列學(xué)習(xí)引領(lǐng)機(jī)器翻譯顛覆性發(fā)展(Sutskever et al., 2014; Bahdanau et al., 2015)。

邏輯結(jié)論疟位，神經(jīng)圖靈機(jī)(Graves et al., 2014)引入瞻润，學(xué)習(xí)讀取存儲(chǔ)單元和向存儲(chǔ)單元寫入任意內(nèi)容。從期望行為樣本學(xué)習(xí)簡單程序甜刻。從雜亂和排好序樣本學(xué)習(xí)對(duì)一系列數(shù)排序绍撞。自我編程技術(shù)起步階段，原則上未來可適用幾科所有任務(wù)得院。

強(qiáng)化學(xué)習(xí)(reinforcement learning)傻铣。自主智能體，沒有人類操作者指導(dǎo)祥绞，試錯(cuò)學(xué)習(xí)執(zhí)行任務(wù)非洲。DeepMind表明，深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)系統(tǒng)學(xué)會(huì)玩Atari視頻游戲蜕径，在多種任務(wù)可與人類匹配(Mnih et al., 2015)两踏。深度學(xué)習(xí)顯著改善機(jī)器人強(qiáng)化學(xué)習(xí)性能(Finn et al., 2015)。

深度學(xué)習(xí)應(yīng)用高利潤兜喻，頂級(jí)技術(shù)公司：Googel梦染、Microsoft、Facebook朴皆、IBM帕识、Baidu、Apple遂铡、Adobe肮疗、Netflix、NVIDIA扒接、NEC伪货。

深度學(xué)習(xí)進(jìn)步依賴軟件基礎(chǔ)架構(gòu)進(jìn)展。軟件庫珠增，Theano(Bergstra et al., 2010a; Bastien et al., 2012a)超歌、PyLearn2(Goodfellow et al., 2013e)、Torch(Collobert et al., 2011b)蒂教、DistBelief(Dean et al., 2012)巍举、Caffe(Jia,2013)、MXNet(Chen et al., 2015)凝垛、TensorFlow(Abadi et al., 2015)懊悯。支持重要研究項(xiàng)目或商業(yè)產(chǎn)品蜓谋。

對(duì)象識(shí)別現(xiàn)代卷積網(wǎng)絡(luò)為神經(jīng)科學(xué)家提供視覺處理模型(DiCarlo, 2013)。處理海量數(shù)據(jù)炭分、科學(xué)領(lǐng)域有效預(yù)測工具桃焕，成功預(yù)測分子相互作用，幫助制藥公司設(shè)計(jì)新藥物(Dahl et al., 2014)捧毛。搜索亞原子粒子(Baldi et al., 2014)观堂。自動(dòng)解析構(gòu)建人腦三維圖顯微鏡圖像(Knowles-Braley et al., 2014)。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種方法呀忧。

參考資料：
《深度學(xué)習(xí)》

歡迎推薦上海機(jī)器學(xué)習(xí)工作機(jī)會(huì)师痕，我的微信：qingxingfengzi

我有一個(gè)微信群，歡迎一起學(xué)深度學(xué)習(xí)而账。