1.技術(shù)演進(jìn)
深度學(xué)習(xí)（Deep Learning）化借，是目前人工智能領(lǐng)域最流行的技術(shù)潜慎。具體來講，深度學(xué)習(xí)模型由一系列相互關(guān)聯(lián)的神經(jīng)元組成蓖康，經(jīng)訓(xùn)練后得到關(guān)聯(lián)權(quán)重铐炫，數(shù)據(jù)通過整個(gè)網(wǎng)絡(luò)便可自動(dòng)得到更具有語義的特征表示，進(jìn)一步可以直接用于分類圖像和語音蒜焊，甚至是控制無人機(jī)或是無人車倒信。
深度學(xué)習(xí)試圖使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象，與目前的人腦模型接近泳梆，符合人類層次化的組織概念鳖悠、由簡至繁分層抽象的認(rèn)知過程榜掌。深度學(xué)習(xí)可以模擬人腦從外界環(huán)境中學(xué)習(xí)、理解甚至解決模糊歧義的過程乘综。與淺層學(xué)習(xí)相比憎账，深度學(xué)習(xí)最大的不同在于利用簡單的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)更層次化的特征表示，取代人工挑選的復(fù)雜特征（即特征工程） 表示瘾带，并能夠在具體任務(wù)上達(dá)到更好的效果鼠哥。
深度學(xué)習(xí)的概念并不新穎，但直到近年才得到認(rèn)可看政。業(yè)界普遍認(rèn)為朴恳，是超大規(guī)模訓(xùn)練數(shù)據(jù)、復(fù)雜的深層模型和分布式并行訓(xùn)練造就了今天深度學(xué)習(xí)的繁榮允蚣。具體來講于颖，包含多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò),利用現(xiàn)在的高性能計(jì)算機(jī)和人工標(biāo)注的海量數(shù)據(jù)，通過迭代得到超過淺層模型的效果嚷兔。深度學(xué)習(xí)帶來了模式識(shí)別和機(jī)器學(xué)習(xí)方面的革命森渐。
圖表1 ?神經(jīng)網(wǎng)絡(luò)發(fā)展時(shí)間線
目前的深度學(xué)習(xí)模型可以分為神經(jīng)網(wǎng)絡(luò)和深度模型兩條發(fā)展路徑如下表所列。
圖表2 ? 神經(jīng)網(wǎng)絡(luò)方面的發(fā)展
1943 年McCulloch 和Pitt 設(shè)計(jì)的人工神經(jīng)元
1958 年Rosenblatt 提出感知機(jī)
1979 年Fukushima 設(shè)計(jì)最早的卷積神經(jīng)網(wǎng)絡(luò)冒晰，已經(jīng)具備了多層卷積和池化同衣，但是訓(xùn)練方法上還存在缺陷
1985 年Hinton 將反向傳播引入神經(jīng)網(wǎng)絡(luò)訓(xùn)練，發(fā)現(xiàn)可以得出帶有語義的網(wǎng)絡(luò)結(jié)構(gòu)
1985 年業(yè)界提出認(rèn)知學(xué)問題：人類是否也是類似的依賴神經(jīng)元連接來進(jìn)行認(rèn)知
1989 年Hinton 提出自編碼 （Auto Encoder）
1999 年Hinton 等人提出受限玻爾茲曼機(jī)
1965 年烏克蘭數(shù)學(xué)家Ivakhnenko 發(fā)表深度前向多層感知器
1971 年Ivakhnenko 設(shè)計(jì)八層網(wǎng)絡(luò)
1986 年Dechter 將深度學(xué)習(xí)引入到機(jī)器學(xué)習(xí)領(lǐng)域
2000 年Aizenberg 等將其與人工神經(jīng)網(wǎng)絡(luò)結(jié)合
在應(yīng)用方面壶运，第一個(gè)成功的例子是1989 年LeCun 利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合反向傳播訓(xùn)練方法進(jìn)行手寫體識(shí)別耐齐，后期推廣到全美支票識(shí)別。然而由于人工智能行業(yè)整體的不景氣蒋情，訓(xùn)練速度和規(guī)模受限等問題埠况，包括1997 年Hochreiter 提出的LSTM 等技術(shù)的應(yīng)用不如1995 年Vapnik 提出的支持向量機(jī)方法廣泛。
21 世紀(jì)初棵癣，伴隨著信息革命的發(fā)展辕翰，計(jì)算機(jī)性能大幅提升，大規(guī)模并行計(jì)算設(shè)備如GPU 等的出現(xiàn)狈谊，使得深度學(xué)習(xí)模型的訓(xùn)練過程可以提速千倍喜命，在同等海量數(shù)據(jù)規(guī)模的情況下，其表現(xiàn)超過了支持向量機(jī)等淺層模型河劝，并隨著數(shù)據(jù)的增加可獲得持續(xù)改進(jìn)壁榕，業(yè)界對(duì)其應(yīng)用前景的評(píng)估日益樂觀，開始源源不斷地投入深度學(xué)習(xí)的改進(jìn)中丧裁。
2．深度學(xué)習(xí)的三個(gè)里程碑
任何技術(shù)的發(fā)展過程，都伴隨著一些重要的突破節(jié)點(diǎn)含衔，在深度學(xué)習(xí)技術(shù)方面煎娇，可劃分為模型初步二庵、大規(guī)模嘗試和遍地開花三個(gè)階段。
2006 年前后缓呛，深度模型初見端倪催享，這個(gè)階段主要的挑戰(zhàn)是如何有效訓(xùn)練更大更深層次的神經(jīng)網(wǎng)絡(luò)，曾一度因?yàn)樘荻确椒ㄈ菀自斐蓪哟伍g信息損失而效果受到影響哟绊。業(yè)界嘗試?yán)弥饘宇A(yù)訓(xùn)練的方法（還有一種嘗試方法是上文提到的LSTM）來解決該問題因妙，預(yù)訓(xùn)練首先通過無監(jiān)督學(xué)習(xí)得到一些比較穩(wěn)定的特征，而后用監(jiān)督學(xué)習(xí)稍加調(diào)整便可得到較好效果票髓，最早是1992 年Schmidhuber 提出攀涵，而后Hinton 等人在2006 年改進(jìn)為前向反饋。
圖表3 ? Google 大腦計(jì)劃
2011 年底洽沟，大公司逐步開始進(jìn)行大規(guī)模深度學(xué)習(xí)的設(shè)計(jì)和部署以故。“Google 大腦”項(xiàng)目啟動(dòng)裆操，由時(shí)任斯坦福大學(xué)教授的吳恩達(dá)和Google ?首席架構(gòu)師Jeff Dean 主導(dǎo)怒详，專注于發(fā)展最先進(jìn)的神經(jīng)網(wǎng)絡(luò)。初期重點(diǎn)是使用大數(shù)據(jù)集以及海量計(jì)算踪区，盡可能拓展計(jì)算機(jī)的感知和語言理解能力昆烁。該項(xiàng)目最終采用了16000 個(gè)GPU 搭建并行計(jì)算平臺(tái)，以YouTube 視頻中的貓臉作為數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識(shí)別缎岗，引起業(yè)界轟動(dòng)静尼，此后在語音識(shí)別和圖像識(shí)別等領(lǐng)域均有所斬獲。
圖表4 ? ImageNet 挑戰(zhàn)賽
近年來深度學(xué)習(xí)獲得了非常廣泛的關(guān)注密强，其進(jìn)展的一個(gè)直觀的體現(xiàn)就是ImageNet 競(jìng)賽茅郎。在這個(gè)競(jìng)賽中參賽算法在數(shù)千個(gè)種類圖像和視頻的大規(guī)模數(shù)據(jù)上測(cè)試檢測(cè)和分類的正確率快速上升。
圖表5 ? ?2011 年至2015 年 ImageNet 圖片分類結(jié)果
近年來或渤，隨著GPU 的提速系冗，深層網(wǎng)絡(luò)的很多訓(xùn)練過程已無需預(yù)訓(xùn)練就可直接進(jìn)行，如2011 年Ciresan 等利用深度卷積神經(jīng)網(wǎng)絡(luò)贏得多項(xiàng)文本識(shí)別薪鹦、交通標(biāo)志識(shí)別和醫(yī)學(xué)圖像識(shí)別等競(jìng)賽掌敬。2012年之前，競(jìng)賽中物體的識(shí)別率一直提升得非常緩慢（低于70%）池磁。在2012 年引入深度學(xué)習(xí)之后奔害，Hinton 等人贏得ILSVRC-2012 ImageNet ，識(shí)別率一躍升至80%地熄，現(xiàn)在已超過95%华临。這標(biāo)志了人工特征工程正逐步被深度模型所取代。從排名來看端考，深度學(xué)習(xí)目前具有壓倒性優(yōu)勢(shì)雅潭，已經(jīng)取代了傳統(tǒng)視覺方法在這一競(jìng)賽中的地位揭厚。
進(jìn)一步地，強(qiáng)化學(xué)習(xí)也重新成為焦點(diǎn)扶供，2016 年Google 子公司DeepMind 研發(fā)的基于深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的AlphaGo 筛圆，與人類頂尖棋手李世石進(jìn)行了一場(chǎng)“世紀(jì)對(duì)決”，最終贏得比賽椿浓。AlphaGo突破了傳統(tǒng)程序太援，搭建了兩套模仿人類思維的深度學(xué)習(xí)：價(jià)值網(wǎng)絡(luò)承擔(dān)棋局態(tài)勢(shì)評(píng)估，策略網(wǎng)絡(luò)選擇如何落子扳碍。
3.深度學(xué)習(xí)發(fā)展現(xiàn)狀
3.1多家巨頭力推產(chǎn)業(yè)布局
技術(shù)的發(fā)展離不開產(chǎn)業(yè)巨頭的推進(jìn)提岔，深度學(xué)習(xí)也不例外。Facebook 是最早使用GPU 加速DNN訓(xùn)練的公司之一左腔。深度網(wǎng)絡(luò)和GPU 在Facebook 人工智能研究院（FAIR）推出的專門用于深度學(xué)習(xí)訓(xùn)練的計(jì)算平臺(tái)中扮演著重要的作用唧垦。Facebook 寄希望以此推動(dòng)機(jī)器智能的發(fā)展并幫助人們更好的交流，目前在信息推薦液样、過濾攻擊言論振亮、推薦熱門話題、搜索結(jié)果排名等等已經(jīng)使用了大量人工智能和深度學(xué)習(xí)的技術(shù)鞭莽。在Facebook 坊秸，還有許多應(yīng)用能夠從機(jī)器學(xué)習(xí)模型中獲利，然而對(duì)于很多沒有深厚機(jī)器學(xué)習(xí)背景的工程師來說澎怒，想要利用這些機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施褒搔，還是有很大的困難。2014 年末Facebook 發(fā)布FBLearner Flow 喷面，試圖重新定義自己的機(jī)器學(xué)習(xí)平臺(tái)星瘾，把人工智能與機(jī)器學(xué)習(xí)中最先進(jìn)的算法以最便利的方式提供給Facebook 的工程師。這一平臺(tái)能方便地在不同的產(chǎn)品中重復(fù)使用多種算法惧辈，并可以延伸到成千上萬種模擬的定制試驗(yàn)操中琳状，輕松地對(duì)實(shí)驗(yàn)進(jìn)行管理。這一平臺(tái)提供了創(chuàng)新性的功能盒齿，比如從流水線定義和對(duì)Python ?編碼進(jìn)行自動(dòng)化平行移用中自動(dòng)生成用戶界面（UI）試驗(yàn)念逞。目前，超過25% 的Facebook 工程開發(fā)團(tuán)隊(duì)都在使用FBLearner Flow边翁。其未來的改進(jìn)計(jì)劃包括效率坏晦、速度和自動(dòng)化等脓豪。
上文提到栋猖，Google 也在深度學(xué)習(xí)領(lǐng)域投入了大量力量害碾。以2011 年“Google 大腦”為契機(jī)，Google 逐年在多個(gè)內(nèi)部重點(diǎn)項(xiàng)目上如廣告系統(tǒng)、YouTube甸各、Gmail 和機(jī)器翻譯等部署深度學(xué)習(xí)仰剿，為Google 進(jìn)一步改善產(chǎn)品質(zhì)量和用戶體驗(yàn)提供了強(qiáng)有力的支持。此外痴晦，鑒于開源Android 的成功經(jīng)驗(yàn)，Google 在深度學(xué)習(xí)模型和工具方面也積極擁抱開源琳彩，目前正在大力推動(dòng)TensorFlow 開源深度學(xué)習(xí)平臺(tái)誊酌。Google ?目前有能力快速搭建和訓(xùn)練基于海量數(shù)據(jù)的模型，解決真實(shí)世界中的實(shí)際問題露乏，并在不同的平臺(tái)（比如移動(dòng)端碧浊、GPU、云端）部署生產(chǎn)模型瘟仿，相關(guān)技術(shù)都以云服務(wù)API的形式提供箱锐。
圖表6 ?Google 產(chǎn)品中深度學(xué)習(xí)的應(yīng)用在迅速增長
就國內(nèi)來講，百度是較早引入并大規(guī)模實(shí)踐深度學(xué)習(xí)的典范劳较。2013 年驹止，百度成立深度學(xué)習(xí)實(shí)驗(yàn)室，是百度歷史上首個(gè)正式成立的前瞻性研究機(jī)構(gòu)观蜗，致力于“讓計(jì)算機(jī)像人腦一樣智能”的科學(xué)研究臊恋，并推出“百度大腦”計(jì)劃，支撐百度相關(guān)產(chǎn)品線模型的改進(jìn)墓捻，近年來在搜索技術(shù)抖仅、自然語言處理、機(jī)器翻譯砖第、機(jī)器學(xué)習(xí)撤卢、數(shù)據(jù)挖掘、推薦及個(gè)性化梧兼、語音放吩、多媒體等領(lǐng)域取得了大量成果，并廣泛應(yīng)用于百度PC 和移動(dòng)端產(chǎn)品當(dāng)中袱院。
國內(nèi)另一家使用深度學(xué)習(xí)技術(shù)的典型企業(yè)是科大訊飛屎慢。科大訊飛從2010 年開展DNN 語音識(shí)別研究忽洛，2011 年上線首個(gè)中文語音識(shí)別DNN 系統(tǒng)腻惠，2013 年語種識(shí)別首創(chuàng)BN-ivec 技術(shù)，2016 年將注意力模型神經(jīng)網(wǎng)絡(luò)應(yīng)用于認(rèn)知智能欲虚。
圖表7 ?科大訊飛的深度學(xué)習(xí)之路
3.2三大領(lǐng)域技術(shù)革新
圖表8 ? 基于深度學(xué)習(xí)技術(shù)的創(chuàng)業(yè)公司
在產(chǎn)業(yè)界巨頭和學(xué)術(shù)界精英的不斷推動(dòng)下集灌，基于深度學(xué)習(xí)的人工智能終于迎來了“春天”，數(shù)不清的應(yīng)用和創(chuàng)業(yè)公司出現(xiàn)，試圖利用深度模型和垂直領(lǐng)域的積累來掘得第一桶金欣喧，主要聚集的領(lǐng)域有圖像識(shí)別腌零、語音識(shí)別和自然語言處理。
圖像識(shí)別領(lǐng)域最早嘗試深度學(xué)習(xí)唆阿，從早期LeCun 的卷積神經(jīng)網(wǎng)絡(luò)益涧，到Hinton 的更深層次網(wǎng)絡(luò)，再到百度以圖搜圖和人臉識(shí)別等技術(shù)驯鳖，整個(gè)領(lǐng)域逐漸從人工特征工程和淺層學(xué)習(xí)模型闲询，轉(zhuǎn)向基于深度學(xué)習(xí)和大數(shù)據(jù)的方法。如Face++ 以云服務(wù)方式提供基于深度學(xué)習(xí)的人臉識(shí)別技術(shù)浅辙，并且在金融扭弧、安防、零售領(lǐng)域分別開始了商業(yè)化探索记舆。
語音識(shí)別領(lǐng)域鸽捻，深度學(xué)習(xí)技術(shù)能夠更好描述特征狀態(tài)空間，尤其可以引入更高維的表示泽腮，能更好描述特征間相關(guān)性御蒲，取代了長久以來占據(jù)壟斷性地位的混合高斯模型。如百度采用深度學(xué)習(xí)技術(shù)诊赊，進(jìn)行聲音建模的語音識(shí)別系統(tǒng)相比于傳統(tǒng)的GMM 語音識(shí)別系統(tǒng)而言删咱，相對(duì)誤識(shí)別率能降低25% ，早在2012 年就上線了基于深度學(xué)習(xí)技術(shù)的語音搜索系統(tǒng)豪筝。自然語言處理領(lǐng)域是近兩年來深度學(xué)習(xí)逐步滲透的一個(gè)領(lǐng)域痰滋，比起圖像和語音，自然語言單詞帶有較強(qiáng)的語義內(nèi)涵续崖，需要更細(xì)致更擴(kuò)展的表示方法才能極大程度上保留信息敲街。2003 年，加拿大蒙特利爾大學(xué)教授Yoshua Bengio 等提出用embedding 的方法將詞映射到一個(gè)矢量表示空間严望，然后用非線性神經(jīng)網(wǎng)絡(luò)來表示N-Gram 模型多艇，此后語義變得可計(jì)算。通過大規(guī)模未標(biāo)注文本和無監(jiān)督學(xué)習(xí)像吻，可以自動(dòng)學(xué)習(xí)出字峻黍、詞、句子的語義表示拨匆，一舉擺脫知識(shí)庫姆涩、詞法、句法等傳統(tǒng)自然語言障礙惭每。Google自然語言翻譯的最新進(jìn)展骨饿。
3.3三大開源框架促進(jìn)技術(shù)落地
深度學(xué)習(xí)目前表現(xiàn)出來的趨勢(shì)，不光是技術(shù)，還有商業(yè)模式的轉(zhuǎn)變宏赘。過去幾個(gè)月绒北，所有巨頭都將自己的深度學(xué)習(xí)IP 開源。核心目的是為了吸引用戶察署、擴(kuò)大市場(chǎng)闷游，吸引人才、加速創(chuàng)新贴汪。開源會(huì)使技術(shù)發(fā)展更快储藐，但主宰市場(chǎng)的仍將是巨頭。
深度學(xué)習(xí)算法和平臺(tái)本身的設(shè)計(jì)與實(shí)現(xiàn)是較難的問題嘶是，也不應(yīng)該是應(yīng)用開發(fā)者所需要過分關(guān)注的事情。近年來依托開源運(yùn)動(dòng)蛛碌，全球互聯(lián)網(wǎng)巨頭從2015 年起掀起新一輪最前沿技術(shù)平臺(tái)開源共享的風(fēng)潮聂喇。例如谷歌和Facebook 分別將深度學(xué)習(xí)平臺(tái)TensorFlow 和Torchnet 全面開源，在全球范圍內(nèi)大幅推進(jìn)人工智能與深度學(xué)習(xí)技術(shù)的應(yīng)用普及蔚携，擴(kuò)大產(chǎn)業(yè)整體的市場(chǎng)規(guī)模希太，極大加速了深度學(xué)習(xí)在應(yīng)用領(lǐng)域的迅速推廣。這些軟件所具有的共同設(shè)計(jì)特征是：容易表達(dá)酝蜒、可擴(kuò)展誊辉、多平臺(tái)適用、可重復(fù)使用和快速見效亡脑。
TensorFlow 是Google 的第二代機(jī)器學(xué)習(xí)系統(tǒng)堕澄，用來理解學(xué)習(xí)大規(guī)模數(shù)據(jù)和模型。這一系統(tǒng)非常靈活霉咨，可適用于圖像蛙紫、語音、文字理解等不同應(yīng)用途戒。Google 使用了上千塊GPU 并在性能上較同等CPU 極大的提升坑傅。其優(yōu)點(diǎn)主要有三個(gè)，一是高度擴(kuò)展的設(shè)計(jì)喷斋，更快的實(shí)驗(yàn)速度加速研究進(jìn)程唁毒；二是容易分享模型，開發(fā)代碼應(yīng)用到可重用的效果星爪；三是通過同一個(gè)系統(tǒng)把研究工作直接用于生產(chǎn)環(huán)境浆西。
Paddle 是百度的深度學(xué)習(xí)系統(tǒng)，已經(jīng)在內(nèi)部運(yùn)行和推廣多年顽腾，多次獲得百度最高獎(jiǎng)榮譽(yù)室谚，并且已經(jīng)做出了一些實(shí)際的產(chǎn)品，較為成熟。在性能和各項(xiàng)指標(biāo)上都有優(yōu)點(diǎn)秒赤，如代碼簡潔猪瞬、設(shè)計(jì)干凈，無過多抽象入篮、速度較快陈瘦，顯存占用小、可多機(jī)多卡并行潮售，支持異構(gòu)痊项、文檔翔實(shí)等等，推出后Paddle也獲得了較高的肯定酥诽，是一個(gè)不錯(cuò)的深度學(xué)習(xí)工具鞍泉，在國內(nèi)有較大的應(yīng)用潛力。
另一個(gè)值得一提的是Caffee 肮帐，是一個(gè)清晰而且高效的深度學(xué)習(xí)框架咖驮，以易用性、擴(kuò)展性和速度快迅速得到業(yè)界的認(rèn)可训枢，并且在文檔撰寫和代碼迭代過程中非常注重與用戶的互動(dòng)托修，時(shí)至今日已擁有一個(gè)龐大的開發(fā)社區(qū)。
GitHub 根據(jù)上述框架衍生出數(shù)十個(gè)開源項(xiàng)目恒界，構(gòu)成良好的深度學(xué)習(xí)開發(fā)社區(qū)氛圍睦刃，進(jìn)一步推動(dòng)了該技術(shù)的推廣和落地。下表列舉了星級(jí)超過1500 的大型項(xiàng)目十酣。
圖表9 ? ?GitHub 深度學(xué)習(xí)開源排名
4.深度學(xué)習(xí)未來展望
技術(shù)的發(fā)展涩拙，尤其是到大規(guī)模落實(shí)階段，都難免會(huì)發(fā)現(xiàn)局限性耸采，也正是這些局限性吃环，不斷促進(jìn)業(yè)界思考和改進(jìn)技術(shù)，進(jìn)而得到未來的發(fā)展方向洋幻。
就深度學(xué)習(xí)而言郁轻，首先，缺乏理論支持文留。對(duì)于深度學(xué)習(xí)架構(gòu)好唯，業(yè)界存在一系列的疑問：卷積神經(jīng)網(wǎng)絡(luò)為什么是一個(gè)好的架構(gòu)（事實(shí)上其存在梯度散射等缺點(diǎn)），深度學(xué)習(xí)的結(jié)構(gòu)需要多少隱層燥翅，在一個(gè)大規(guī)模的卷積網(wǎng)絡(luò)中到底需要多少有效的參數(shù)（很多權(quán)重相互之間似乎都存在冗余）骑篙，隨機(jī)梯度下降方法優(yōu)化權(quán)重得到一個(gè)局部最優(yōu)值如何解決。雖然深度學(xué)習(xí)在很多實(shí)際的應(yīng)用中取得了突出的效果森书，但這些問題一直困擾著深度學(xué)習(xí)的研究人員靶端。深度學(xué)習(xí)方法常常被視為黑盒谎势，大多數(shù)的結(jié)論確認(rèn)都由經(jīng)驗(yàn)而非理論來確定。不管是為了構(gòu)建更好的深度學(xué)習(xí)系統(tǒng)杨名，還是為了提供更好的解釋脏榆，深度學(xué)習(xí)都還需要更完善的理論支撐。隨著神經(jīng)網(wǎng)絡(luò)框架變得越來越復(fù)雜而精密台谍，在感知须喂、語言翻譯等方面的大部分最先進(jìn)的神經(jīng)網(wǎng)絡(luò)框架正在發(fā)展并且不再僅僅關(guān)于簡單前饋式（feed forward）框架或者卷積式框架（convolutional）。特別地趁蕊，它們正在混合并匹配不同的神經(jīng)網(wǎng)絡(luò)技術(shù)如LSTM坞生、卷積、自定義目標(biāo)函數(shù)掷伙、多皮層柱（multiple cortical columns）等等是己。此外，神經(jīng)網(wǎng)絡(luò)超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)目前多依賴人工經(jīng)驗(yàn)任柜，如何能夠自動(dòng)且高效地得到優(yōu)化是值得關(guān)注的方向卒废。
其次，缺乏推理能力乘盼。深度學(xué)習(xí)技術(shù)缺乏表達(dá)因果關(guān)系的手段，缺乏進(jìn)行邏輯推理的方法俄烁。解決這個(gè)問題的一種典型方法是將深度學(xué)習(xí)與結(jié)構(gòu)化預(yù)測(cè)相結(jié)合绸栅。目前幾個(gè)帶有結(jié)構(gòu)化預(yù)測(cè)模塊的增強(qiáng)的深度學(xué)習(xí)系統(tǒng)已經(jīng)被提出來用于OCR、身體姿態(tài)檢測(cè)和語義分割等任務(wù)中页屠〈饪瑁總的來說，需要更多新的思路以應(yīng)用于需要復(fù)雜推理的任務(wù)中辰企。盡管深度學(xué)習(xí)和簡單推理已經(jīng)應(yīng)用于語音和手寫字識(shí)別較長時(shí)間风纠，仍需要在大的向量上使用新的范式來代替基于規(guī)則的字符表達(dá)式操作。最終牢贸，那些結(jié)合了復(fù)雜推理和表示學(xué)習(xí)的系統(tǒng)很可能為人工智能帶來巨大的進(jìn)步竹观。深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的交叉應(yīng)用會(huì)繼續(xù)，不僅僅聚焦在圖像潜索、聲音和文本數(shù)據(jù)臭增。如端對(duì)端學(xué)習(xí)控制無人車和機(jī)器人，使用深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)來完成原始傳感器數(shù)據(jù)到實(shí)際動(dòng)作執(zhí)行器的直接映射竹习。深度學(xué)習(xí)模型正從過去的只是分類一步步發(fā)展到試圖理解如何在方程中加入規(guī)劃控制相關(guān)的變量誊抛。
第三，缺乏短時(shí)記憶能力整陌。人類的大腦有著驚人的記憶功能拗窃，不僅能夠識(shí)別個(gè)體案例瞎领，更能分析輸入信息之間的整體邏輯序列。這些信息序列富含有大量的內(nèi)容随夸，信息彼此間有著復(fù)雜的時(shí)間關(guān)聯(lián)性九默。例如在自然語言理解的許多任務(wù)（例如問答系統(tǒng)）中，需要一種方法來臨時(shí)存儲(chǔ)分隔的片段逃魄，正確解釋視頻中的事件荤西，并能夠回答有關(guān)它的問題，這需要網(wǎng)絡(luò)具備記住的視頻中發(fā)生的事件抽象表示的能力伍俘。然而包括遞歸神經(jīng)網(wǎng)絡(luò)在內(nèi)的深度學(xué)習(xí)系統(tǒng)邪锌，都不能很好地存儲(chǔ)多個(gè)時(shí)間序列上的記憶。這使得研究人員提出在神經(jīng)網(wǎng)絡(luò)中增加獨(dú)立的記憶模塊癌瘾，如LSTM 觅丰，記憶網(wǎng)絡(luò)（Memory Networks ），神經(jīng)圖靈機(jī)（Neural Turing Machines ）妨退，和Stack 增強(qiáng)RNN ?（stack-Augmented RNN）妇萄。雖然這些方法思路很直觀，也取得了一定的成果咬荷，但在未來仍需要更多的嘗試和新的思路冠句。
最后，缺乏執(zhí)行無監(jiān)督學(xué)習(xí)的能力幸乒。無監(jiān)督學(xué)習(xí)在人類和動(dòng)物的學(xué)習(xí)中占據(jù)主導(dǎo)地位懦底，我們通過觀察能夠發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu)，無需被告知每一個(gè)客觀事物的名稱罕扎。在機(jī)器學(xué)習(xí)領(lǐng)域聚唐，神經(jīng)網(wǎng)絡(luò)的復(fù)興恰恰是在無監(jiān)督學(xué)習(xí)取得不斷進(jìn)步的2005 年左右，雖然無監(jiān)督學(xué)習(xí)可以幫助特定的深度網(wǎng)絡(luò)進(jìn)行“預(yù)訓(xùn)練”腔召，但最終絕大部分能夠應(yīng)用于實(shí)踐的深度學(xué)習(xí)方法都采用了純粹的有監(jiān)督學(xué)習(xí)杆查。這并不能代表非監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)中沒有作用，反而具有非常大的潛力臀蛛，因?yàn)闃I(yè)界擁有的非標(biāo)記數(shù)據(jù)比標(biāo)記數(shù)據(jù)多很多亲桦，只是尚未找到合適的非監(jiān)督學(xué)習(xí)算法。非監(jiān)督學(xué)習(xí)在未來存在巨大的研究空間浊仆，今后計(jì)算機(jī)視覺的進(jìn)步將有賴于在無監(jiān)督學(xué)習(xí)上取得突破烙肺，尤其是對(duì)于視頻的理解。
