Google Colab Free GPU教程
現(xiàn)在,你可以開發(fā)深度學(xué)習(xí)與應(yīng)用谷歌Colaboratory -on的免費(fèi)特斯拉K80 GPU -使用Keras靠益,Tensorflow和PyTorch胧后。
你好!我將向您展示如何使用Google Colab纸巷,Google為AI開發(fā)人員提供的免費(fèi)云服務(wù)何暇。借助Colab凛驮,您可以免費(fèi)在GPU上開發(fā)深度學(xué)習(xí)應(yīng)用程序黔夭。
什么是Google Colab羽嫡?
Google Colab是免費(fèi)的云服務(wù)杭棵,現(xiàn)在它支持免費(fèi)的GPU!
您可以;
提高你的Python編程語言編碼技能先舷。
開發(fā)利用流行的庫如深學(xué)習(xí)應(yīng)用Keras滓侍,TensorFlow,PyTorch捺球,和OpenCV的。
Colab與其他免費(fèi)云服務(wù)最大的區(qū)別在于:Colab提供GPU并且完全免費(fèi)裂逐。
有關(guān)該服務(wù)的詳細(xì)信息可以在常見問題頁面上找到絮姆。
準(zhǔn)備使用Google Colab
在Google云端硬盤上創(chuàng)建文件夾
由于Colab正在使用您自己的Google云端硬盤秩霍,因此我們首先需要指定我們將要使用的文件夾铃绒。我在Google云端硬盤上創(chuàng)建了一個(gè)名為“ 應(yīng)用 ” 的文件夾。當(dāng)然矮燎,您可以使用不同的名稱诞外,或選擇默認(rèn)的Colab筆記本文件夾而不是應(yīng)用程序文件夾灾票。
我創(chuàng)建了一個(gè)空的“應(yīng)用程序”文件夾
創(chuàng)建新的Colab筆記本
通過右鍵單擊>更多> Colaboratory創(chuàng)建一個(gè)新的筆記本
右鍵單擊>更多> Colaboratory
通過點(diǎn)擊文件名來重命名筆記本刊苍。
設(shè)置免費(fèi)的GPU
改變默認(rèn)硬件非常簡單(CPU到GPU或反之亦然) ; 只要按照編輯>筆記本電腦設(shè)置或運(yùn)行>更改運(yùn)行時(shí)類型和選擇GPU的硬件加速器正什。
使用Google Colab運(yùn)行基本的Python代碼
現(xiàn)在我們可以開始使用Google Colab。
我將運(yùn)行Python Numpy教程中的一些基本數(shù)據(jù)類型代碼斯棒。
它按預(yù)期工作:)如果你不知道Python是AI最流行的編程語言荣暮,我會(huì)推薦這個(gè)簡單而干凈的教程旨怠。
使用Google Colab運(yùn)行或?qū)?py文件
首先運(yùn)行這些代碼鉴腻,以便安裝必要的庫并執(zhí)行授權(quán)百揭。
apt-get install -y -qq software-properties-common python-software-properties module-init-tools
器一!add-apt-repository -y ppa:alessandro-strada / ppa 2>&1> / dev / null
祈秕!apt-獲取更新-qq 2>&1> / dev / null
请毛!apt-get -y install -qq google-drive-ocamlfuse
從google.colab導(dǎo)入
auth.authenticate_user()
從oauth2client.client導(dǎo)入GoogleCredentials
creds = GoogleCredentials.get_application_default( )
import getpass
瞭亮!google-drive-ocamlfuse-headless -id = {creds.client_id} -secret = {creds.client_secret} </ dev / null 2>&1 | grep URL
vcode = getpass.getpass()
统翩!echo {vcode} | google-drive-ocamlfuse-headless -id = {creds.client_id} -secret = {creds.client_secret}
當(dāng)你運(yùn)行上面的代碼時(shí),你應(yīng)該看到這樣的結(jié)果:
點(diǎn)擊鏈接委粉,復(fù)制驗(yàn)證碼并粘貼到文本框中娶桦。
完成授權(quán)過程后趟紊,
安裝您的Google云端硬盤:
!mkdir -p驅(qū)動(dòng)器
!google-drive-ocamlfuse驅(qū)動(dòng)器
安裝Keras:
送爸!pip安裝-q keras
將mnist_cnn.py文件上傳到位于Google云端硬盤上的應(yīng)用程序文件夾。
mnist_cnn.py文件
運(yùn)行下面的代碼在MNIST數(shù)據(jù)集上訓(xùn)練一個(gè)簡單的小圓點(diǎn)墨吓。
帖烘!python3 drive / app / mnist_cnn.py
從結(jié)果中可以看出橄杨,每個(gè)紀(jì)元只能持續(xù)11秒照卦。
下載泰坦尼克號(hào)數(shù)據(jù)集(.csv文件)并顯示前5行
如果你想從url下載 .csv文件到“ app”文件夾役耕,只需運(yùn)行:
瞬痘!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive / app
您可以直接將.csv文件上傳到“app”文件夾板熊,而不是使用wget方法干签。
在“ app ”文件夾中讀取 .csv文件并顯示前5行:
將pandas導(dǎo)入為pd
titanic = pd.read_csv(“drive / app / Titanic.csv”)
titanic.head(5)
將Github Repo克隆到Google Colab
用Git克隆一個(gè)Github庫很容易。
第1步:找到Github回購并獲得“Git”鏈接
找到任何Github回購使用丹泉。
例如:https://github.com/wxs/keras-mnist-tutorial
克隆或下載>復(fù)制鏈接鸭蛙!
- Git克隆
只需運(yùn)行:
娶视!git clone https://github.com/wxs/keras-mnist-tutorial.git
3.在Google云端硬盤中打開文件夾
文件夾與Github回購當(dāng)然是一樣的:)
4.打開筆記本
右鍵單擊>打開方式> Colaboratory
5.運(yùn)行
現(xiàn)在肪获,您可以在Google Colab中運(yùn)行Github回購。
一些有用的提示
1.如何安裝庫较木?
Keras
青柄!pip install -q keras
導(dǎo)入keras
PyTorch
致开!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
進(jìn)口火炬
MxNet
!apt install libnvrtc8.0
!pip install mxnet-cu80
將mxnet導(dǎo)入為mx
OpenCV的
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2
XGBoost
虹蒋!pip install -q xgboost == 0.4a30
import xgboost
GraphViz的
魄衅!apt-get -qq install -y graphviz && pip install -q pydot
import pydot
7zip閱讀器
徐绑!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive
其他圖書館
!pip install或者 !apt-get install安裝其他庫。
- GPU是否工作毅访?
要查看您目前是否在Colab中使用GPU盘榨,可以運(yùn)行以下代碼以進(jìn)行交叉檢查:
import tensorflow as tf
tf.test.gpu_device_name()
3.我使用哪個(gè)GPU草巡?
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
目前,Colab只提供特斯拉K80查乒。
4.什么是RAM郁竟?
棚亩!貓/ proc / meminfo
- CPU呢?
讥蟆!cat / proc / cpuinfo
6.更改工作目錄
通常當(dāng)你運(yùn)行這個(gè)代碼時(shí):
瘸彤!LS
你可能會(huì)看到datalab和驅(qū)動(dòng)器文件夾。
因此低零,您必須在定義每個(gè)文件名之前添加drive / app拯杠。
為了擺脫這個(gè)問題潭陪,你可以簡單的改變工作目錄依溯。(在本教程中,我更改為應(yīng)用程序文件夾)與這個(gè)簡單的代碼:
import os
os.chdir(“drive / app”)
運(yùn)行上面的代碼之后枝秤,如果再次運(yùn)行
淀弹!LS
你會(huì)看到應(yīng)用程序文件夾的內(nèi)容薇溃,并不需要一直添加驅(qū)動(dòng)器/應(yīng)用程序了缭乘。
7.“ No backend with GPU available”錯(cuò)誤解決方案
如果您遇到此錯(cuò)誤:
Failed to assign a backend
No backend with GPU available. Would you like to use a runtime with no accelerator?
稍后再試《榧ǎ現(xiàn)在很多人在GPU上踢輪胎,當(dāng)所有GPU都在使用時(shí)特姐,就會(huì)出現(xiàn)這個(gè)消息到逊。
參考
8.如何清除所有細(xì)胞的輸出
遵循工具>>命令選項(xiàng)板>>清除所有輸出
9.“apt-key輸出不應(yīng)該被解析(標(biāo)準(zhǔn)輸出不是終端)”警告
如果您遇到此警告:
警告:不應(yīng)該分析apt-key輸出(標(biāo)準(zhǔn)輸出不是終端)
這意味著認(rèn)證已經(jīng)完成觉壶。您只需要安裝Google云端硬盤:
铜靶!mkdir -p驅(qū)動(dòng)器
争剿!google-drive-ocamlfuse驅(qū)動(dòng)器
結(jié)論
我認(rèn)為Colab將為世界各地的深度學(xué)習(xí)和人工智能研究帶來新的氣息。
如果你覺得這篇文章有用蚕苇,那么如果你給了它一些掌聲并且分享來幫助別人找到它涩笤,那將意味著很多!并隨時(shí)留下評(píng)論蹬碧。
你可以在LinkedIn上找到我舱禽。
最后的筆記
這篇博文將不斷更新。
更新日志
26-01-2018
“插入應(yīng)用程序 文件夾 到 路徑” 刪除
“下載恩沽,閱讀和顯示.csv文件” 添加
“一些有用的技巧” 補(bǔ)充說
27-01-2018
“更改工作目錄” 添加
28-01-2018
“克隆Github回購谷歌合作” 補(bǔ)充說
“pip安裝mxnet”添加
29-01-2018
No backend with GPU available.添加錯(cuò)誤解決方案
2018年2月2日
“MxNet安裝” 更改(CPU到GPU)
2018年5月2日
“如何清除所有細(xì)胞的輸出” 補(bǔ)充說
apt-key output should not be parsed (stdout is not a terminal)警告添加