谷歌 有兩個(gè)平臺(tái)提供免費(fèi)的云端 GPU ： Colab 和 Kaggle 燃箭， 如果你想深入學(xué)習(xí)人工智能和深度學(xué)習(xí)技術(shù)冲呢，那么這兩款GPU將帶給你很棒學(xué)習(xí)的體驗(yàn)。那么問(wèn)題來(lái)了招狸，我們?cè)撨x擇哪個(gè)平臺(tái)進(jìn)行學(xué)習(xí)和工作呢敬拓？接下來(lái)，本文將介紹如何比較硬件規(guī)格和探索優(yōu)缺點(diǎn)的差異裙戏；本文還將基于一個(gè)計(jì)算機(jī)視覺(jué)任務(wù)乘凸，比較在不同平臺(tái)下，使用遷移學(xué)習(xí)累榜、混合精度訓(xùn)練营勤、學(xué)習(xí)率模擬退火以及測(cè)試時(shí)間增廣等操作時(shí)，所需的訓(xùn)練時(shí)間壹罚「鹱鳎基于上述內(nèi)容，你將對(duì)這兩個(gè)平臺(tái)的GPU性能猖凛，有一個(gè)更加全面和清楚的了解赂蠢。

Kaggle 和 Colab 是兩個(gè)非常相似的產(chǎn)品，它們都具有如下特性：

提供免費(fèi)的GPU

在瀏覽器中使用Jupyter進(jìn)行交互——但是它們都有自己獨(dú)特的風(fēng)格

旨在促進(jìn)機(jī)器學(xué)習(xí)的協(xié)作

都是谷歌的產(chǎn)品

不是十全十美辨泳，但是在多數(shù)場(chǎng)景下都適用虱岂，尤其是在入門(mén)深度學(xué)習(xí)的時(shí)候

官方文檔對(duì)硬件規(guī)格的描述較為簡(jiǎn)略

最后一項(xiàng)是本文研究的重點(diǎn)，但不幸的是菠红，Kaggle和Colab都不提供對(duì)使用環(huán)境的詳細(xì)描述第岖，而且官方文檔（https://www.kaggle.com/docs/kernels#technical-specifications）往往很過(guò)時(shí)，跟不上平臺(tái)硬件更新的速度试溯。除此之外蔑滓，平臺(tái)IDE的小控件雖然提供了一些信息，但是這往往不是我們真正想要的耍共。接下來(lái)烫饼，本文展示常用的profiler命令，該命令可以查看平臺(tái)環(huán)境的信息试读。

在正式開(kāi)始之前杠纵，我們得先了解一些GPU的背景知識(shí)。

什么是GPU钩骇？

GPU是圖形處理單元的簡(jiǎn)稱比藻，最初GPU是為加速視頻游戲的圖形所開(kāi)發(fā)的專用芯片铝量，它們能夠快速的完成大量的矩陣運(yùn)算。該特性也使得GPU在深度學(xué)習(xí)領(lǐng)域嶄露頭角银亲，有趣的是慢叨，出于相同的原因，GPU也是挖掘加密貨幣的首選工具务蝠。

Nvidia P100 GPU

為什么要使用GPU?

使用大顯存的GPU來(lái)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)拍谐，比單純用CPU來(lái)訓(xùn)練要快得多。想象一下馏段，使用GPU能夠在十幾分鐘或者幾個(gè)小時(shí)內(nèi)轩拨，獲得所訓(xùn)練網(wǎng)絡(luò)的反饋信息，而使用CPU則要花費(fèi)數(shù)天或者數(shù)周的時(shí)間院喜，GPU簡(jiǎn)直是棒呆了亡蓉。

硬件規(guī)格

2019年三月初，kaggle將它的GPU芯片從Nvidia Tesla K80升級(jí)到了Nvida Tesla P100喷舀，然而Colab還在用K80砍濒。有關(guān)Nvidia 芯片類型的討論，可以參見(jiàn)這篇文章（https://towardsdatascience.com/maximize-your-gpu-dollars-a9133f4e546a）硫麻。

有很多不同方法可以查看硬件的信息爸邢，兩個(gè)比較常用的命令是!nvidia-smi和 !cat/proc/cpuinfo，分別用于查看GPU和CPU的信息庶香。即使你想用GPU來(lái)訓(xùn)練模型甲棍，CPU也是不必可少的，因此了解CPU的信息是必不可少的赶掖。

下圖所示為Kaggle和Colab的硬件配置信息感猛，更多內(nèi)容可以參考谷歌官方文檔（https://docs.google.com/spreadsheets/d/1YBNlI9QxQTiPBOhsSyNg6EOO9LH2M3zF7ar88SeFQRk/edit?usp=sharing）。

兩個(gè)平臺(tái)上的內(nèi)存大小和磁盤(pán)空間奢赂，可能會(huì)存在一些令人疑惑的地方陪白。一旦在Kaggle或者Colab上安裝軟件并開(kāi)始進(jìn)程，它的內(nèi)存和磁盤(pán)可用量就會(huì)發(fā)生變化了膳灶。我們可以用!cat/proc/meminfo 命令來(lái)測(cè)試這種容量變化咱士，如下圖所示。

Total表示總內(nèi)存容量轧钓，Available表示啟動(dòng)后序厉，沒(méi)有任何其他進(jìn)程運(yùn)行的情況下，實(shí)際觀察到的內(nèi)存容量毕箍。從上圖可以看到弛房，我們自己測(cè)量的值和Colab或Kaggle的IDE控件面板中顯示的很相似，但是并不完全匹配而柑，如下圖所示文捶。

Mouseover in Colab

Kaggle Sidebar

上圖顯示的是Kaggle的內(nèi)核和Colab Notebook中的硬件規(guī)格信息荷逞，請(qǐng)注意，在開(kāi)始前一定要確保開(kāi)啟了GPU的功能粹排。

還有一點(diǎn)值得注意种远，使用命令行查看GPU的硬件規(guī)格時(shí)，系統(tǒng)返回值的單位是Mebibytes顽耳，該單位和Megabytes（兆字節(jié)）相似但并不等同坠敷。通過(guò)谷歌搜索相應(yīng)信息，可以將Mebibytes轉(zhuǎn)化為Megabytes斧抱。

Kaggle 的widget（小部件）顯示常拓，實(shí)際使用的磁盤(pán)空間比前文調(diào)研的要小得多，這是因?yàn)榛云郑瑹o(wú)論理論上的磁盤(pán)總量是多少，Kaggle都會(huì)限制實(shí)際能夠使用的磁盤(pán)空間茎辐。

在官方文檔中Kaggle聲明宪郊，用戶擁有9個(gè)小時(shí)的使用時(shí)間，然而拖陆，對(duì)于每個(gè)會(huì)話弛槐，內(nèi)核環(huán)境最多只會(huì)在窗口上顯示6個(gè)小時(shí)。值得注意的是依啰，重新啟動(dòng)內(nèi)核會(huì)重新啟動(dòng)時(shí)鐘乎串。此外，如果用戶在60分鐘內(nèi)沒(méi)有任何操作速警，Kaggle會(huì)將會(huì)話重啟叹誉。

Colab為用戶提供12小時(shí)的執(zhí)行時(shí)間，但是如果閑置時(shí)間超過(guò)90分鐘长豁，Colab就會(huì)將你踢掉。

接下來(lái)就要進(jìn)入本文的重點(diǎn)了：訓(xùn)練一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)忙灼，到底會(huì)花費(fèi)多少時(shí)間匠襟。

計(jì)算機(jī)視覺(jué)任務(wù)下的速度比較

本文用一個(gè)圖像分類的任務(wù)來(lái)比較Kaggle和Colab的計(jì)算性能。該任務(wù)的目標(biāo)是構(gòu)建一個(gè)深度學(xué)習(xí)模型该园，對(duì)貓狗的圖像進(jìn)行分類酸舍。數(shù)據(jù)集包含25000張圖像，貓和狗的樣本數(shù)是均衡的里初。將數(shù)據(jù)集分為兩部分啃勉，其中23000張圖像用于訓(xùn)練，另外2000張用于驗(yàn)證青瀑。數(shù)據(jù)集鏈接見(jiàn)此（https://www.kaggle.com/lingjin525/dogs-and-cats-fastai）璧亮。

Cat and dog images from the dataset

本文用FastAI庫(kù)構(gòu)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)萧诫，并以ResNet30為基礎(chǔ)運(yùn)用遷移學(xué)習(xí)訓(xùn)練該模型。模型的訓(xùn)練使用了以下幾個(gè)技巧枝嘶，分別是數(shù)據(jù)增廣和學(xué)習(xí)率退火帘饶。在模型的測(cè)試階段，本文使用測(cè)試時(shí)間增廣技術(shù)來(lái)構(gòu)建測(cè)試集群扶。本節(jié)的代碼改編自FastAI的示例（https://github.com/fastai/fastai/blob/master/examples/dogs_cats.ipynb）及刻。

代碼分別在Kaggle和Colab上的實(shí)施。Batch size 設(shè)為16竞阐，F(xiàn)astAI的版本是1.0.48缴饭。使用FastAI的內(nèi)置分析器，統(tǒng)計(jì)訓(xùn)練和測(cè)試的總時(shí)間骆莹，兩平臺(tái)所用的時(shí)間如下颗搂。

在兩個(gè)平臺(tái)中，模型的驗(yàn)證精度都超過(guò)了99%幕垦，三次迭代的時(shí)間在Kaggle中是11:17分鐘丢氢，而Colab中為19:54分鐘。Kaggle的運(yùn)行環(huán)境性能先改，從速度上看疚察，比Colab要快40%。

Batch Size

在Kaggle中仇奶，我們需要將batch size從64降低到16貌嫡，才能使模型成功進(jìn)行訓(xùn)練。如果batch size過(guò)大该溯，會(huì)導(dǎo)致運(yùn)行錯(cuò)誤岛抄，該錯(cuò)誤似乎是由于Docker容器中的共享內(nèi)存設(shè)置得太低才引起的。有趣的是朗伶，作者在2018年底向Colab提出了這個(gè)問(wèn)題（https://github.com/googlecolab/colabtools/issues/329）弦撩，Colab在一周內(nèi)便修復(fù)了這個(gè)問(wèn)題。然而论皆，截止2019年3月中旬益楼，Kaggle依然存在該問(wèn)題。

接下來(lái)点晴，我們將Colab中的batch size改為256感凤，對(duì)模型進(jìn)行兩次迭代訓(xùn)練。上述的改變導(dǎo)致平均運(yùn)行時(shí)間變成了18:38分鐘粒督。將batch size改為64陪竿，同樣進(jìn)行兩次迭代訓(xùn)練，此時(shí)得到的平均運(yùn)行時(shí)間為18:14分鐘。這表示族跛，當(dāng)batch size大于16的時(shí)候闰挡，Colab能夠縮減運(yùn)行的時(shí)間。

盡管如此礁哄，對(duì)于本節(jié)中的任務(wù)而言长酗，較小的batch size并不是一個(gè)值得深究的大問(wèn)題，有關(guān)參數(shù)設(shè)置的討論桐绒，可以參見(jiàn)這篇文章（https://arxiv.org/abs/1804.07612）夺脾。

當(dāng)我將Colab上的batch size設(shè)為256，然后開(kāi)始訓(xùn)練模型時(shí)茉继，Colab拋出了一個(gè)警告咧叭，其中寫(xiě)道：我正在使用的GPU具有11.17GB的顯存。具體如下圖所示烁竭。

這個(gè)警告非常棒菲茬，但是基于前文的分析，我們已經(jīng)了解了Gibibytes和Gigabytes（https://www.gbmb.org/gib-to-gb）之間的區(qū)別颖变。前文中講到生均，Colab有11.17 Gibibytes（12 GB）的顯存，這顯然和警告中說(shuō)的11.17GB矛盾腥刹。盡管如此，如果Colab提示你超出內(nèi)存了汉买，那就是超出內(nèi)存了衔峰。因此batch size設(shè)為256，可能就是該任務(wù)下Colab的極限了蛙粘。

混合精度訓(xùn)練

接下來(lái)垫卤，我們使用了混合精度訓(xùn)練，該訓(xùn)練方式能夠有效地降低訓(xùn)練時(shí)間出牧⊙ㄖ猓混合精度訓(xùn)練在某些可能的情況下，會(huì)使用16位精度的數(shù)值代替32位的數(shù)值舔痕，來(lái)進(jìn)行計(jì)算评抚。Nvidia聲稱使用16位精度，可以使P100的吞吐量翻倍伯复。

有關(guān)混合精度FastAI模型的介紹可以參見(jiàn)這篇文章（https://docs.fast.ai/callbacks.fp16.html）慨代。請(qǐng)注意，在使用測(cè)試時(shí)間增廣進(jìn)行預(yù)測(cè)之前啸如，我們需要將FastAI學(xué)習(xí)器對(duì)象設(shè)置為32位模式侍匙，這是因?yàn)閠orch.stack暫時(shí)不支持半精度。

通過(guò)在Colab上使用混合精度進(jìn)行訓(xùn)練叮雳，在batch size 為16的情況下想暗，平均運(yùn)行時(shí)間為16:37分鐘妇汗。顯然，我們成功的縮減了運(yùn)行時(shí)間说莫。

然而杨箭，在Kaggle上實(shí)施混合精度訓(xùn)練，總的運(yùn)行時(shí)間卻增加了一分半唬滑，達(dá)到了12:47分鐘告唆。我們并沒(méi)有改變硬件規(guī)格，而且得到的驗(yàn)證精度都達(dá)到了99%以上晶密，這就很有趣了擒悬。

通過(guò)調(diào)查發(fā)現(xiàn)，Kaggle的默認(rèn)包中的torch和torchvision的版本都很老稻艰，將它們的版本更新到和Colab上的一樣后懂牧，Kaggle的運(yùn)行時(shí)間并沒(méi)有改變。但是這一個(gè)發(fā)現(xiàn)表明尊勿，Colab上默認(rèn)包的版本比Kaggle更新的要快僧凤。

前文提到的硬件差異，似乎并不是導(dǎo)致Kaggle混合精度性能不佳的原因元扔。那么軟件差異似乎是答案躯保，我們觀察到，兩平臺(tái)唯一的軟件差異就是澎语，Kaggle使用CUDA 9.2.148 和 cuDNN 7.4.1途事，而Colab 使用CUDA 10.0.130 和 cuDNN 7.5.0。

CUDA是Nvidia的API擅羞，可以直接訪問(wèn)GPU的虛擬指令集尸变。cuDNN是Nvidia基于CUDA的深度學(xué)習(xí)原型庫(kù)。根據(jù)Nvidia的這篇文章减俏，Kaggle的軟件應(yīng)該可以提高P100的速度召烂。但是，正如cuDNN更改說(shuō)明（https://docs.nvidia.com/deeplearning/sdk/cudnn-release-notes/rel_750.html#rel_750）中所示娃承，阻止加速的bug是定期排查和修復(fù)的奏夫，那么kaggle在混合精度訓(xùn)練上表現(xiàn)不佳，可能是因?yàn)閎ug修復(fù)不及時(shí)所導(dǎo)致的吧草慧。

既然如此桶蛔，我們只好等待Kaggle升級(jí)CUDA和cuDNN，看看混合精度訓(xùn)練是否會(huì)變得更快漫谷。如果使用Kaggle仔雷，還是推薦你采用混合精度訓(xùn)練（雖然速度并不會(huì)得到提升）。如果使用Colab，當(dāng)然采用混合精度訓(xùn)練更佳碟婆，但是要注意batch size不要設(shè)置得太大电抚。

優(yōu)缺點(diǎn)對(duì)比

谷歌是一家希望您支付GPU費(fèi)用的公司，天下沒(méi)有免費(fèi)的午餐竖共。

Colab和Kaggle當(dāng)然會(huì)有一些令人沮喪的問(wèn)題蝙叛。例如，兩個(gè)平臺(tái)運(yùn)行時(shí)斷開(kāi)連接的頻率太高公给，這令我們非常沮喪借帘，因?yàn)槲覀儾坏貌恢貑?huì)話。

在過(guò)去淌铐，這些平臺(tái)并不能總保證你有GPU可以用肺然，但是現(xiàn)在卻可以了。接下來(lái)讓我們一起看看腿准，Colab和Kaggle的各自的優(yōu)缺點(diǎn)吧际起。

Colab

優(yōu)點(diǎn)

能夠在Google Drive上保存notebook

可以在notebook中添加注釋

和GIthub的集成較好——可以直接把notebook保存到Github倉(cāng)庫(kù)中

具有免費(fèi)的TPU。TPU和GPU類似吐葱，但是比GPU更快街望。TPU是谷歌自行開(kāi)發(fā)的一款芯片，但不幸的是弟跑，盡管Colab意在整合PyTotch和TPU灾前，但TPU對(duì)PyTorch的支持仍不太友好。如果使用TensorFlow進(jìn)行編程孟辑，而不是使用FastAI/Pytorch編程豫柬，那么在Colab上使用TPU可要比在Kaggle上使用GPU快多了。

缺點(diǎn)

部分用戶在Colab中的共享內(nèi)存較小扑浸。

谷歌云盤(pán)的使用較為麻煩。每個(gè)會(huì)話都需要進(jìn)行身份驗(yàn)證燕偶，而且在谷歌云盤(pán)中解壓文件較為麻煩喝噪。

鍵盤(pán)快捷鍵和Jupyter Notebook中不太一樣。具體對(duì)比可以參見(jiàn)這里指么。

Kaggle

優(yōu)點(diǎn)

Kaggle社區(qū)有利于學(xué)習(xí)和展示你的技能

在Kaggle上發(fā)布你的工作酝惧，能夠記錄一段美好的歷史

Kaggle和Jupyter notebook的鍵盤(pán)快捷鍵基本相同

Kaggle有很多免費(fèi)數(shù)據(jù)集

缺點(diǎn)

Kaggle一般會(huì)自動(dòng)保存你的工作，但是如果你沒(méi)有提交工作伯诬，然后重新加載你的頁(yè)面晚唇，你的工作很有可能丟失。

就像前面提到的盗似，在Kaggle中哩陕，Docker容器中的PyTorch共享內(nèi)存較低。在本次圖像分類任務(wù)中，如果設(shè)置batch size的大小超過(guò)16悍及，那么系統(tǒng)就會(huì)報(bào)錯(cuò)： RuntimeError: DataLoader worker (pid 41) is killed by signal: Bus error闽瓢。

Kaggle內(nèi)核通常看起來(lái)有些遲鈍心赶。

結(jié)論

Colab和Kaggle都是開(kāi)展云端深度學(xué)習(xí)的重要資源扣讼。我們可以同時(shí)使用兩者，例如在Kaggle和Colab之間相互下載和上傳notebook缨叫。

Colab和Kaggle會(huì)不斷更新硬件資源椭符，我們可以通過(guò)比較硬件資源的性能，以及對(duì)編程語(yǔ)言的支持耻姥，選擇最優(yōu)的平臺(tái)部署代碼销钝。例如，如果我們要運(yùn)行一個(gè)密集的PyTorch項(xiàng)目咏闪，并且期望提高精度曙搬，那么在Kaggle上開(kāi)發(fā)可能更加適合。

如果我們希望更加靈活的調(diào)整batch size 的大小鸽嫂，Colab可能更加適用纵装。使用Colab，我們可以將模型和數(shù)據(jù)都保存在谷歌云盤(pán)里据某。如果你用TensorFlow編程探孝，那么Colab的TPU將會(huì)是一個(gè)很好的資源孩锡。

如果需要更多的時(shí)間來(lái)編寫(xiě)代碼，或者代碼需要更長(zhǎng)的運(yùn)行時(shí)間，那么谷歌的云平臺(tái)的性價(jià)比可能更高畔乙。