1|前言
深度學(xué)習(xí)編程框架提供了用于深度學(xué)習(xí)設(shè)計(jì)、訓(xùn)練株搔，驗(yàn)證等功能的基本模塊使用架提供的高級(jí)API筑辨，用戶可以簡(jiǎn)單方便地實(shí)現(xiàn)各種深度學(xué)習(xí)以及機(jī)器算法目前总滩，市面上有很多流行的開(kāi)源框架纲堵，每個(gè)框架都有自己的用戶群和優(yōu)缺點(diǎn)。幾乎所有的框架都支持CPU和GPU設(shè)備闰渔，使用了常見(jiàn)的基于設(shè)備的加速庫(kù)席函，如BLAS， cuBLAS冈涧、NCCL等茂附。選取 TensorFlow、 PyTorch督弓、Cafe营曼、 MXNet、paddlepaddle這五個(gè)相對(duì)有代表性的框架進(jìn)行全面的對(duì)比愚隧。
首先我們統(tǒng)計(jì)了各框架在社區(qū)的活躍程度蒂阱，如圖1所示，從開(kāi)源社區(qū) Github上統(tǒng)計(jì)了各框架的星標(biāo)（Star）數(shù)狂塘、倉(cāng)庫(kù)復(fù)制Fork）數(shù)录煤、討論帖（Issue）數(shù)和代碼提交請(qǐng)求（Pull Request）數(shù)。這四個(gè)指標(biāo)大致反映了一個(gè)框架的受歡迎程度和活躍程度其中荞胡， TensorFlow在三項(xiàng)中都具有明顯的優(yōu)勢(shì)妈踊。 PyTorch的代碼提交請(qǐng)求數(shù)排第一，說(shuō)明它也是一個(gè)非忱崞活躍的有著眾多用戶的框架廊营。
表1中列出了這些框架的其他比較項(xiàng)，包括主要維護(hù)團(tuán)體萝勤、框架支持的前端語(yǔ)言支持的操作系統(tǒng)平臺(tái)露筒、支持的操作系統(tǒng)平臺(tái)、編程模式以及現(xiàn)階段輔助工具生態(tài)等纵刘。下面我們從這些角度分別計(jì)論各個(gè)框架的情況邀窃。
1 | TensorFlow
TensorFlow是一個(gè)規(guī)模較大的框架，在開(kāi)源之前就已經(jīng)在 Google內(nèi)部得到了廣泛的應(yīng)用假哎。開(kāi)源后很快成為社區(qū)最受歡迎的框架之一。
TensorFlow功能強(qiáng)大鞍历，覆蓋面廣舵抹，支持眾多常見(jiàn)的前端語(yǔ)言，覆蓋云端到終端幾乎所有的平臺(tái)劣砍，同時(shí)也有眾多的輔助工具來(lái)支持多平臺(tái)多設(shè)備使用惧蛹。例如，可視化計(jì)算圖工具 Tensor Board既可以讓用戶查看計(jì)算圖結(jié)構(gòu)，也能讓用戶追蹤訓(xùn)練過(guò)程香嗓，如Loss收斂情況等迅腔； TFLite則可以將訓(xùn)練好的模型導(dǎo)出為終端設(shè)備使用的輕量模型，方便手機(jī)或嵌入式設(shè)備使用</u>靠娱；Profiler則是性能剖析工具沧烈，可以幫助使用者分析和優(yōu)化模型性能。
TensorFlow社區(qū)力量強(qiáng)大像云，文檔完善锌雀，對(duì)初學(xué)者較為友好從圖1中我們就能看到， Tensor Flow的使用者非常多迅诬，這些用戶在 Gthub腋逆、 Stackoverflo 、CSON侈贷、 Merium等社區(qū)網(wǎng)站留下了大量的教程和使用經(jīng)驗(yàn)惩歉，初學(xué)者很容易就能查到之前遇到的問(wèn)題此外， TensorFlow自身也提供了豐富的教程和開(kāi)源模型（tensorflow/models）俏蛮，幫助大家更好地學(xué)習(xí)和使用柬泽。
當(dāng)然， TensorFlow也有很多廣為使用者病的缺點(diǎn)嫁蛇，如API較為混亂锨并、聲明式編程不方便調(diào)試等。因此睬棚，在最新版的 TensorFlow 2.0中對(duì)于眾多API做了系統(tǒng)性梳理掉了一些余重復(fù)的API第煮，更重要的是， TensorFlow在2.0版本中默認(rèn)采用適合快速開(kāi)發(fā)和調(diào)試的命令式編程（即Eager模式）抑党，不需啟動(dòng)會(huì)話（Session）即可逐條執(zhí)行程序員編寫的命令包警，得到結(jié)果。 Eager模式還高度集成了更高層 Keras API底靠，使用起來(lái)更加方便害晦。當(dāng)然命令式編程無(wú)法對(duì)于整個(gè)計(jì)算圖做全局優(yōu)化，執(zhí)行速度較低暑中，因此壹瘟，在大規(guī)模部署的生產(chǎn)環(huán)境下，建議采用基于 Session的聲明式編程鳄逾，通過(guò)提供 兩種編程模式稻轨，TensorFlow 2.0既能滿足學(xué)術(shù)研究人員即寫即用、方便調(diào)試雕凹、快速驗(yàn)證想法的靈活性需求殴俱，又能繼續(xù)提供工業(yè)界大型項(xiàng)目所需的高效性和高可靠性
2 | PyTorch
PyTorch目前主要由 Facebook維護(hù)政冻。相對(duì)于TensorFlow， PyTorch顯得小而靈活线欲。
PyTorch前端支持 Python和C＋＋明场，尤其是對(duì) Python用戶非常友好。 PyTorch支持的自動(dòng)求導(dǎo)和 TensorFlow不同李丰，后者在添加新算子時(shí)需要自己實(shí)現(xiàn)求導(dǎo)函數(shù)苦锨，但 PyTorch不用。此外嫌套， PyTorch的模塊化編程方法對(duì)復(fù)用網(wǎng)絡(luò)架構(gòu)特別適用逆屡，可以極大提高開(kāi)發(fā)效率， PyTorch一直支持動(dòng)態(tài)圖命令式的編程模式踱讨，雖然犧牲了靜態(tài)圖優(yōu)化的運(yùn)行效率優(yōu)勢(shì)魏蔗，但更加好用（比如在復(fù)雜循環(huán)網(wǎng)絡(luò)）和方便調(diào)試（比如直接使用 Python的調(diào)試工具pdb），因此廣受歡迎 PyTorch的輔助工具也非常多痹筛，除了自身提供的可視化工具 Torch Vision之外也支持模型在 Tensor Board上的可視化莺治，同時(shí)也提供了豐富的模型庫(kù)。隨著使用人數(shù)的增加帚稠，社區(qū)內(nèi)容也日趨完善谣旁。基于上述優(yōu)點(diǎn)滋早，在小規(guī)模的使用場(chǎng)景和學(xué)術(shù)界榄审， PyTorch使用數(shù)量迅猛增長(zhǎng)，有趕超TensorFlow的趨勢(shì)杆麸。
此外我們也看到搁进，目前 Py Torch無(wú)法全面支持各種平臺(tái)，這意味著訓(xùn)練好的模型不能很方便地轉(zhuǎn)移到其他平臺(tái)或設(shè)備上使用昔头，因此對(duì)生產(chǎn)環(huán)境來(lái)說(shuō)饼问， PyTorch目前還不是首選。
3| MXNet
MXNet是一款針對(duì)效率和靈活性而設(shè)計(jì)的深度學(xué)習(xí)框架揭斧。它和 TensorFlow一樣支持聲明式編程莱革，也支持命令式編程（MXNet Gluon），用戶可以混用聲明式編程和命令式編程以最大化開(kāi)發(fā)效率讹开。 MXNet支持的語(yǔ)言很豐富盅视，如R、 Julia和Go等 MXNet的總體框架類似 TensorFlow萧吠，但是后端代碼比 TensorFlow輕量得多 MXNet基于動(dòng)態(tài)依賴調(diào)度器左冬，并且能夠高效支持多設(shè)備和多機(jī)器。
4| Caffe
Calfe是出現(xiàn)最早的框架之一纸型，最開(kāi)始由加州大學(xué)伯克利分校所開(kāi)發(fā)，后由開(kāi)區(qū)維護(hù)
相對(duì)于 TensorFlow的計(jì)算圖以算子為單位， Caffe的計(jì)算以層（layer）為粒度狰腌，對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)中的層除破， Caffe為每一層給出了前向?qū)崿F(xiàn)和反向?qū)崿F(xiàn)，并采用 prototxt格式表示網(wǎng)絡(luò)結(jié)構(gòu)的層次堆疊琼腔，相對(duì)于 TensorBoard里呈現(xiàn)的分散算子瑰枫，如果 TensorFlow在實(shí)現(xiàn)網(wǎng)絡(luò)時(shí)沒(méi)有很好地組織命名空間，則很難看出網(wǎng)絡(luò)結(jié)構(gòu)和功能丹莲， 而Caffe的 prototxt就非直觀和簡(jiǎn)單 光坝。Caffe的這些特性，使得使用者能很快掌握深度學(xué)習(xí)基礎(chǔ)算法的內(nèi)部本質(zhì)和實(shí)現(xiàn)方法甥材，并由此開(kāi)發(fā)出自己的 Caffe變種盯另，完成自定義功能。
然而洲赵，正是由于它使用層的粒度來(lái)描述網(wǎng)絡(luò)鸳惯，缺少靈活性、擴(kuò)展性和復(fù)用性叠萍，同時(shí)芝发，由于 Caffe早期是為卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的，在功能上有很多局限性苛谷，對(duì)RNN類的網(wǎng)絡(luò)支持很有限辅鲸，同時(shí)也不支持多設(shè)備和多機(jī)器的使用場(chǎng)景，雖然早期的 Caffe版本已經(jīng)不再維護(hù)更新了腹殿，但 Caffe依舊能夠?yàn)樯疃葘W(xué)習(xí)的初學(xué)者提供一個(gè)了解深度學(xué)習(xí)計(jì)算本質(zhì)（而不僅是停留在使用各種高層API上）的工具和平臺(tái)独悴。
5 | PaddlePaddle
飛槳PaddlePaddle是百度自主研發(fā)的開(kāi)源深度學(xué)習(xí)框架。飛槳PaddlePaddle是集深度學(xué)習(xí)核心框架赫蛇、工具組件和服務(wù)平臺(tái)于一體的技術(shù)領(lǐng)先绵患、功能完備的開(kāi)源深度學(xué)習(xí)平臺(tái)，擁有活躍的開(kāi)發(fā)者社區(qū)悟耘。
作為領(lǐng)先的核心框架落蝙，飛槳PaddlePaddle具備簡(jiǎn)單、易用暂幼、高效筏勒、安全的特點(diǎn)，能滿足模型開(kāi)發(fā)旺嬉、訓(xùn)練管行、部署的全流程需求。
飛槳PaddlePaddle擁有豐富的工具組件邪媳。飛槳PaddlePaddle開(kāi)放了PaddleHub捐顷、PARL荡陷、AutoDL Design、VisualDL等一系列深度學(xué)習(xí)工具組件迅涮。
飛槳PaddlePaddle具備專業(yè)的服務(wù)平臺(tái)——AI Studio和EasyDL废赞，可以滿足不同層次的深度學(xué)習(xí)開(kāi)發(fā)的需求。
PaddlePaddle源于業(yè)界頂尖實(shí)踐叮姑，擁有強(qiáng)大的超大規(guī)模并行深度學(xué)習(xí)處理能力唉地，它具備4大工業(yè)級(jí)特點(diǎn)。
- 提供高性價(jià)比的多機(jī)GPU參數(shù)服務(wù)器訓(xùn)練方法传透。
- 全面支持大規(guī)模異構(gòu)計(jì)算集群耘沼。
- 同時(shí)支持稠密參數(shù)和稀疏參數(shù)場(chǎng)景的超大規(guī)模深度學(xué)習(xí)并行訓(xùn)練。
- 支持千億規(guī)模參數(shù)朱盐、數(shù)百個(gè)節(jié)點(diǎn)的高效并行訓(xùn)練群嗤。
PaddlePaddle在速度上追求極致的體驗(yàn)，推出了全流程托享、全類型的高性能部署和集成方案骚烧，在計(jì)算性能與易用性上具備3大特性。
- 支持千億規(guī)模參數(shù)闰围、數(shù)百個(gè)節(jié)點(diǎn)的高效并行訓(xùn)練赃绊。
- 提供性能全面領(lǐng)先的底層加速庫(kù)和推理引擎—Paddle Mobile和Paddle Serving。
- 通過(guò)兩行Python代碼就可調(diào)用的自動(dòng)化模型壓縮庫(kù)PaddleSlim羡榴。
圖3 展示了飛槳PaddlePaddle的生態(tài)結(jié)構(gòu)碧查。
|寫在最后
對(duì)主流的編程框架，包括 TensorFlow PyTorch校仑、 Caffe忠售、mxet、PaddlePaddle等迄沫，從多個(gè)角度進(jìn)行了對(duì)比稻扬。
