圍棋號稱人類最復(fù)雜的棋類運動，但近兩年來俗孝，在AlphaGo的沖擊下匙奴，已經(jīng)潰不成軍。繼2016年AlphaGo以4:1擊敗韓國李世石礁叔，2017年AlphaGo Master以3:0零封柯潔之后牍颈，最新的Alpha Zero在沒有棋譜的情況下，進行3天的自我訓(xùn)練后琅关，就擊敗了AlphaGo煮岁；經(jīng)過40天訓(xùn)練后，擊敗了Alpha Master。在AlphaGo背后隱藏的知識就是近來發(fā)展如火如荼的深度學(xué)習(xí)画机。深度學(xué)習(xí)不僅在圍棋領(lǐng)域大放異彩冶伞，在圖像識別、語音識別色罚、自然語言處理等領(lǐng)域也全面開花碰缔。
1.人工智能、機器學(xué)習(xí)與深度學(xué)習(xí)
人工智能（Artificial Intelligence戳护，簡稱AI）金抡，也稱為機器智能，是指由人制造出來的機器所表現(xiàn)的智能腌且。通常人工智能是指通過普通計算機程序的手段實現(xiàn)的人類智能技術(shù)梗肝。廣義上的人工智能，是讓機器擁有完全的甚至超越人類的智能（General AI或者Strong AI）铺董。計算機科學(xué)中的研究更多聚焦在弱人工智能（Narrow AI或者Weak AI）上：人工智能是研究如何能讓計算機模擬人類的智能巫击，來實現(xiàn)特定的依賴人類智能才能實現(xiàn)的任務(wù)（如學(xué)習(xí)、語言精续、識別）坝锰。
最早的人工智能探索可以追溯到1818年Mary Shelly（雪萊）對于復(fù)制人體的想象。計算機科學(xué)家先驅(qū)Alan Turing（圖靈）早在1950年就完整提出了計算機智能的概念重付，并且提出了如何評估計算機是否擁有智能的測試——圖靈測試顷级。盡管有爭議，這項測試今天依然被很多研究人員當(dāng)做測試人工智能的一項重要指標(biāo)确垫。人工智能這個名字的正式提出弓颈，來自于1956年的Darmouth會議。從20世紀50年代到90年代删掀，人工智能在跌跌撞撞中前進翔冀，期間經(jīng)歷了兩次人工智能寒冬。在2000年后披泪，隨著互聯(lián)網(wǎng)的發(fā)展纤子，人工智能領(lǐng)域擁有了期盼已久的大數(shù)據(jù)，也有了足夠快的硬件處理能力的支持款票。2010年深度學(xué)習(xí)的出現(xiàn)计福，給人工智能領(lǐng)域帶來了一場革命，大大加快了人工智能領(lǐng)域的研究徽职。不過這個領(lǐng)域的發(fā)展才剛剛起步象颖，人工智能的未知世界，可能比計算機科學(xué)的其他領(lǐng)域（比如硬件姆钉、安全说订、系統(tǒng)）的總和還要多抄瓦。下圖為人工智能之父——圖靈。
人工智能的研究分為多種學(xué)派陶冷，例如符號主義學(xué)派和連接主義學(xué)派等钙姊。每種學(xué)派所用的方法完全不同，甚至嘗試解決的問題也不一樣埂伦。符號主義源自于數(shù)學(xué)邏輯煞额，目前依然是主流學(xué)派之一（例如知識圖譜）。機器學(xué)習(xí)則是連接主義的產(chǎn)物沾谜，機器學(xué)習(xí)中最早的模型是源自于人腦的仿生學(xué)膊毁，感知機（Perceptron）就是對人腦單一神經(jīng)元的模擬』埽基于統(tǒng)計學(xué)的方法婚温，例如決策樹、支持向量機媳否、邏輯回歸等也被歸于此類算法當(dāng)中栅螟。從廣義上講，機器學(xué)習(xí)是從數(shù)據(jù)中自動學(xué)習(xí)算法篱竭，并且使用學(xué)習(xí)到的算法去進行預(yù)測力图。機器學(xué)習(xí)所學(xué)習(xí)到的算法，是自動從數(shù)據(jù)中學(xué)習(xí)的掺逼，隨著數(shù)據(jù)改變也會有本質(zhì)上的改變搪哪。這與傳統(tǒng)計算機科學(xué)中面向?qū)?shù)據(jù)提前編程有著本質(zhì)區(qū)別。
深度學(xué)習(xí)是使用深度神經(jīng)網(wǎng)絡(luò)來實現(xiàn)機器學(xué)習(xí)的方法坪圾。從下面左圖中我們可以看到人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)這三者的關(guān)系惑朦。深度神經(jīng)網(wǎng)絡(luò)跟人腦的模型有相似性兽泄，人腦中每個神經(jīng)元都是可以連接的，而深度神經(jīng)網(wǎng)絡(luò)中漾月，神經(jīng)元往往被分為了很多層病梢，從而有了深度。拿圖像識別來舉例（如下面右圖：貓咪識別是深度神經(jīng)網(wǎng)絡(luò)最早的成功案例之一）梁肿，圖像可以被剪裁成很多小塊蜓陌，然后輸入到神經(jīng)網(wǎng)絡(luò)的第一層，接著第一層再向后面的層傳導(dǎo)吩蔑，每層做不同的任務(wù)钮热，然后最后一層完成預(yù)測。每個神經(jīng)元對于輸入都有權(quán)重烛芬，這些權(quán)重被用來計算最后的輸出隧期。例如圖像識別的例子飒责，有些神經(jīng)元被用來識別顏色，有些神經(jīng)元被用來識別形狀仆潮，最后一層的神經(jīng)元對所有權(quán)重進行總結(jié)宏蛉，最終做出預(yù)測。
深度學(xué)習(xí)在所有人工智能領(lǐng)域當(dāng)中都取得了成功性置。以ImageNet圖像分類任務(wù)舉例拾并，深度學(xué)習(xí)自2012年以來就已經(jīng)遠遠超過了傳統(tǒng)的機器學(xué)習(xí)算法，在2014之后甚至超過了人類的正確率鹏浅。
ImageNet 項目是一個用于物體對象識別檢索大型視覺數(shù)據(jù)庫嗅义。截止2016年，ImageNet 已經(jīng)對超過一千萬個圖像進行手動注釋篡石，標(biāo)記圖像的類別芥喇。在至少一百萬張圖像中還提供了邊界框。自2010年以來凰萨，ImageNet 舉辦一年一度的軟件競賽继控，叫做（ImageNet Large Scale Visual Recognition Challenge,ILSVRC)。主要內(nèi)容是通過算法程序?qū)崿F(xiàn)正確分類和探測識別物體與場景胖眷，評價標(biāo)準(zhǔn)就是Top-5 錯誤率武通。Top-5錯誤率即對一個圖片，如果概率前五中包含正確答案珊搀，即認為正確冶忱。Top-1錯誤率即對一個圖片，如果概率最大的是正確答案境析，才認為正確囚枪。如下圖所示桌吃，藍色為非深度學(xué)習(xí)的成績俐银，紫色為深度學(xué)習(xí)的成績，紅色為人類的成績麦射。
為什么深度學(xué)習(xí)能夠獲得成功呢沛鸵？主要是由于以下三個因素的影響括勺。
第一個因素是深度神經(jīng)網(wǎng)絡(luò)增加了學(xué)習(xí)能力。例如曲掰，傳統(tǒng)的規(guī)則系統(tǒng)100%依賴于人工規(guī)則疾捍，而機器學(xué)習(xí)模型往往要依賴于少量人工設(shè)計的特征，深度學(xué)習(xí)模型則幾乎不依賴任何人工定義的特征和規(guī)則栏妖，如下圖所示乱豆。
另外兩個因素是深度神經(jīng)網(wǎng)絡(luò)以外的因素，也不可忽視吊趾。一個因素是由于互聯(lián)網(wǎng)時代的積累咙鞍，我們有了更多的數(shù)據(jù)來訓(xùn)練模型房官。另一個因素是計算機硬件的飛速發(fā)展，特別是GPU的出現(xiàn)续滋，讓深度學(xué)習(xí)所需要的高帶寬的超大規(guī)模計算變成了可能翰守。以圖像識別任務(wù)進行對比，2012年和1998年相比疲酌，神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度增加了幾十倍蜡峰，訓(xùn)練數(shù)據(jù)的數(shù)量有了千萬倍的飛躍，同時所用的計算能力也增加了千倍朗恳。
2.深度學(xué)習(xí)工具介紹
目前主要的深度學(xué)習(xí)框架有PyTorch湿颅、TensorFlow、Caffe/Caffe2粥诫、MXNet油航、Theano、Keras怀浆、CNTK谊囚、PaddlePaddle（百度）等。這些框架廣泛地應(yīng)用于計算機視覺执赡、語音識別镰踏、自然語言處理、醫(yī)療診斷沙合、生物信息學(xué)等領(lǐng)域奠伪。下面簡要介紹當(dāng)前深度學(xué)習(xí)領(lǐng)域影響較大的幾個框架。
1.Theano
Theano是加拿大蒙特利爾大學(xué)LISA實驗室在2008年提出的深度學(xué)習(xí)框架首懈，是一個Python庫绊率，可用于定義、優(yōu)化和計算數(shù)學(xué)表達式究履，特別是多維數(shù)組滤否。Theano結(jié)合了計算機代數(shù)系統(tǒng)和優(yōu)化編譯器，能夠為多種數(shù)學(xué)運算符生成定制的C語言代碼挎袜，同時它還支持GPU加速，為早期的深度學(xué)習(xí)研究立下了汗馬功勞肥惭。Theano在深度學(xué)習(xí)框架中是祖師級的存在盯仪，但它誕生于研究機構(gòu)，學(xué)術(shù)氣息濃厚蜜葱，工程設(shè)計存在缺陷全景。在2017年9月，在Theano 10.0發(fā)布之際牵囤，LISA實驗室負責(zé)人爸黄，深度學(xué)習(xí)三巨頭之一的Yoshua Bengio宣布Theano停止開發(fā)滞伟。盡管Theano已經(jīng)完成了使命，但它為深度學(xué)習(xí)的早期研究提供了極大地幫助炕贵，同時也為后來的深度學(xué)習(xí)框架奠定了方向：以計算圖為框架的核心梆奈，采用GPU加速計算。
2.TensorFlow
2015年11月称开，Google推出了機器學(xué)習(xí)開源工具TensorFlow亩钟。TensorFlow是由Google Brain團隊開發(fā)的，主要用于機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)研究鳖轰。同時清酥，它也是一個基礎(chǔ)系統(tǒng)，能夠應(yīng)用于其他領(lǐng)域蕴侣。TensorFlow使用C++作為開發(fā)語言焰轻，使用計算流圖的形式進行計算。圖中節(jié)點表示數(shù)學(xué)運算昆雀，而圖中的線條表示Tensor之間的交互辱志。TensorFlow對開發(fā)不是很友好，但是方便部署忆肾，不僅可以在CPU和GPU上運行荸频，還可以在臺式機、服務(wù)器客冈、移動設(shè)備上運行旭从。
在Google的強大號召力下，加上支持各種語言和硬件场仲，TensorFlow是目前流行的深度學(xué)習(xí)框架和悦，在工業(yè)上應(yīng)用廣泛，有強大的開發(fā)者社區(qū)渠缕。但是TensorFlow的系統(tǒng)設(shè)計過于復(fù)雜鸽素，對于初學(xué)者來講，學(xué)習(xí)曲線優(yōu)點陡峭亦鳞。同時馍忽，TensorFlow作為靜態(tài)圖框架，不太方便直接調(diào)試燕差，打印中間結(jié)果必須借助Session運行才能生效遭笋，或者學(xué)習(xí)額外的tfgdb工具。
3.Caffe/Caffe2
Caffe的全稱是Convolutional Architecture for Fast Feature Embedding徒探，是加州大學(xué)伯克利分校的賈揚清開發(fā)的瓦呼，目前由伯克利視覺中心維護。這是一個清晰测暗、高效的深度學(xué)習(xí)框架央串，核心語言是C++磨澡，支持命令行、Python和MATLAB接口质和，在CPU和GPU均可運行稳摄。Caffe2沿襲了大量的Caffe設(shè)計，并解決了Caffe在使用和部署上發(fā)現(xiàn)的問題侦另。Caffe2能夠提供速度和便攜性秩命，其Python庫和C++ API使用戶在Linux、Windows褒傅、iOS弃锐、Android，甚至Raspberry和Nvidia Tegra上進行原型設(shè)計殿托、訓(xùn)練和部署霹菊。由于Caffe2對全平臺的支持，適合工業(yè)部署支竹。
4.MXNet
MXNet是由李沐和陳天奇等人開發(fā)的深度學(xué)習(xí)框架旋廷。2016年，成為亞馬遜云計算的官方深度學(xué)習(xí)平臺礼搁。MXNet支持C++饶碘、Python、R馒吴、Scala扎运、Julia、MATLAB以及JavaScript等語言饮戳；支持命令行和符號編程豪治；可以運行在CPU、GPU扯罐、集群负拟、服務(wù)器、臺式機和移動設(shè)備歹河。MXNet分布式性能強大掩浙，對顯存、內(nèi)存優(yōu)化明顯秸歧。為了完善MXNet生態(tài)圈厨姚，MXNet推出了PyTorch設(shè)計的Gluon，未來Gluon還將支持微軟的GNTK寥茫。
5.CNTK
2016年1月遣蚀，微軟開源了自身的深度學(xué)習(xí)開發(fā)框架——認知工具集GNTK（Cognitive Toolkit）矾麻。GNTK是由微軟研究院基于C++開發(fā)的工具包纱耻。GNTK最初為微軟內(nèi)部為黃學(xué)東進行語音識別等任務(wù)進行開發(fā)的芭梯。根據(jù)微軟官方的介紹，GNTK是一個統(tǒng)一的計算網(wǎng)絡(luò)框架弄喘，將深度神經(jīng)網(wǎng)絡(luò)描述為一系列通過有向圖的計算步驟玖喘。在有向圖中，每個節(jié)點代表一個輸入值或者一個網(wǎng)絡(luò)參數(shù)蘑志，每條邊表示在其中的一個矩陣運算累奈。GNTK提供了實現(xiàn)前向計算和梯度計算的算法。GNTK支持CPU急但、GPU模式澎媒。GNTK文檔比較缺乏，推廣不是很有力波桩，導(dǎo)致現(xiàn)在的使用者較少戒努，但GNTK在語音識別領(lǐng)域的效果比較顯著。
6.Keras
Keras是一個高級神經(jīng)網(wǎng)絡(luò)API镐躲，有純Python編寫并使用TensorFlow储玫、Theano及GNTK作為后端。從嚴格意義上講萤皂，Keras并不能稱為一個深度學(xué)習(xí)框架撒穷，而是一個深度學(xué)習(xí)接口，調(diào)用其他深度學(xué)習(xí)框架裆熙。學(xué)習(xí)Keras十分容易端礼，以類似Python的方式進行編碼，但是使用Keras相當(dāng)于調(diào)用接口弛车，很難真正學(xué)習(xí)到深度學(xué)習(xí)的知識齐媒。同時，由于Keras支持各個框架纷跛，為了提供一致的接口喻括，Keras做了層層封裝，導(dǎo)致用戶獲取底層的數(shù)據(jù)信息困難贫奠，有了Bug唬血，也不好調(diào)試處理。
3.PyTorch介紹
PyTorch是一個年輕的框架唤崭。2017年1月28日拷恨，PyTorch 0.1版本正式發(fā)布，這是Facebook公司在機器學(xué)習(xí)和科學(xué)計算工具Torch的基礎(chǔ)上谢肾，針對Python語言發(fā)布的全新的深度學(xué)習(xí)工具包腕侄。PyTorch類似Numpy，并且支持GPU，有著更高級而又易用的功能冕杠，可以用來快捷地構(gòu)建和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)微姊。一經(jīng)發(fā)布，它便受到機器學(xué)習(xí)和深度學(xué)習(xí)者重要的研究和開發(fā)工具之一分预。
2017年7月兢交，F(xiàn)acebook和微軟宣布，推出開放的Open Neural Network Exchange（ONNX笼痹，開放神經(jīng)網(wǎng)絡(luò)交換）格式配喳，ONNX為深度學(xué)習(xí)模型提供了一種開源格式，模型可以在不同深度學(xué)習(xí)框架下進行轉(zhuǎn)換凳干。亞馬遜的AWS接著加入進來晴裹。2017年10月，Intel救赐、Nvidia息拜、AMD、IBM净响、Qualcomm少欺、ARM、聯(lián)發(fā)科和華為等廠商紛紛加入ONNX陣營馋贤，ONNX生態(tài)圈正式形成赞别。ONNX生態(tài)系除了原本支持的開源軟件框架Caffe2、PyTorch和CNTK配乓，也包含了MXNet和TensorFlow仿滔。PyTorch是一套以研究為核心的框架，但是用PyTorch開發(fā)的算法模型可以通過ONNX轉(zhuǎn)換犹芹，可用于其他主流深度學(xué)習(xí)框架崎页。
2017年8月，PyTorch 0.2版本發(fā)布腰埂，增加分布式訓(xùn)練飒焦、高階導(dǎo)數(shù)、自動廣播法則等眾多特性屿笼。
2017年12月牺荠，PyTorch 0.3版本發(fā)布，性能改善驴一，對計算速度進行優(yōu)化休雌，同時一個重大的更新是模型轉(zhuǎn)換沒支持DLPack、支持ONNX格式肝断，可以把PyTorch模型轉(zhuǎn)換到Caffe2杈曲、Core ML驰凛、CNTK。MXNet担扑、TensorFlow中洒嗤。
2018年4月25日，PyTorch官方在GitHub上發(fā)布了0.4版本魁亦，新版本做了非常多的改進，其中最重要的改進是官方支持Windows系統(tǒng)羔挡。
2018年10月3日洁奈，首屆PyTorch開發(fā)者大會上，F(xiàn)acebook正式發(fā)布PyTorch 1.0預(yù)覽版绞灼。PyTorch 1.0框架主要迎來了三大更新利术；第一，添加了一個新的混合前端低矮，支持從Eager模式到圖形模型的跟蹤和腳本模型印叁，以彌合研究和生產(chǎn)部署之間的差距；第二军掂，增加了經(jīng)過改進的torch.distributed庫轮蜕，使得開發(fā)者可以在Python和C++環(huán)境中實現(xiàn)更快的訓(xùn)練；第三蝗锥，增加了針對關(guān)鍵性能研究的Eager模型C++接口跃洛。在PyTorch 1.0版本中，F(xiàn)acebook將現(xiàn)有PyTorch框架的靈活性與Caffe2（2018年5月宣布Caffe2并入PyTorch）的生產(chǎn)力結(jié)合终议，提供從研究到AI研究產(chǎn)品化的無縫對接汇竭。
可以看到PyTorch更新頻率是很快的，可見Facebook對其支持力度穴张。開源社區(qū)和機器學(xué)習(xí)從業(yè)者也對PyTorch響應(yīng)熱烈细燎。
面對眾多的深度學(xué)習(xí)框架，為什么要選擇PyTorch呢皂甘？PyTorch有哪些鮮明的特點玻驻？
（1）PyTorch使用Python作為開發(fā)語言，使得開發(fā)者能接入廣大的Python生態(tài)圈的庫和軟件偿枕。同時击狮，在PyTorch開發(fā)中，數(shù)據(jù)處理類型類似數(shù)據(jù)計算包Numpy的矩陣類型益老，代碼風(fēng)格類似機器學(xué)習(xí)包Scikit-Learn彪蓬，方便廣大的機器學(xué)習(xí)者進入深度學(xué)習(xí)這個新的領(lǐng)域。
（2）目前大多數(shù)開源框架（比如TensorFlow捺萌、Caffe档冬、CNTK、Theano等）采用靜態(tài)計算圖，而PyTorch采用動態(tài)計算圖酷誓。靜態(tài)計算圖要求對網(wǎng)絡(luò)模型先定義再運行披坏，一次定義多次運行。動態(tài)計算圖可以在運行過程中定義盐数，運行的時候構(gòu)建棒拂，可以多次構(gòu)建多次運行。靜態(tài)圖的實現(xiàn)代碼冗長玫氢，不直觀帚屉。動態(tài)圖的實現(xiàn)簡潔優(yōu)雅，直觀明了漾峡。動態(tài)計算圖的另一個顯著優(yōu)點是調(diào)試方便攻旦，可以隨時查看變量的值。由于模型可能會比較復(fù)雜生逸，如果能直觀地看到變量的值牢屋，就能夠快速構(gòu)建好模型。
（3）PyTorch的API設(shè)計簡潔優(yōu)雅槽袄，方便易用烙无。PyTorch的API設(shè)計思想來源于Torch，Torch的API設(shè)計以靈活易用而聞名遍尺，Keras作者就是受Torch的啟發(fā)而開發(fā)了Keras皱炉。PyTorch有種使用Keras的快感，就是來源于此狮鸭。相比而言合搅，TensorFlow就臃腫難用多了。
（4）PyTorch支持ONNX格式歧蕉，補齊了最后一塊短板——生產(chǎn)環(huán)境的部署灾部。生產(chǎn)環(huán)境有移動設(shè)備、嵌入式設(shè)備和云端設(shè)備惯退。原本因PyTorch過于靈活赌髓，不太合適部署生產(chǎn)環(huán)境和大規(guī)模部署，但將深度學(xué)習(xí)部署到生產(chǎn)環(huán)境變得越來越重要催跪，ONNX的橫空出世解決了這一難題锁蠕。可以用PyTorch做研究懊蒸，然后用ONNX轉(zhuǎn)換為Caffe2部署到生產(chǎn)環(huán)境荣倾。值得一提的是，Caffe2也是Facebook開發(fā)的骑丸，是Caffe的最新版本舌仍。
PyTorch開發(fā)語言簡潔優(yōu)雅妒貌，方便快速構(gòu)建模型，同時調(diào)試的功能便于發(fā)現(xiàn)和改進錯誤铸豁」嗍铮可以說，PyTorch是入手深度學(xué)習(xí)的最佳利器节芥。使用PyTorch的公司和研究機構(gòu)如雨后春筍版涌現(xiàn)在刺，數(shù)不勝數(shù)。
