現(xiàn)在苹享，你可以開發(fā)深度學(xué)習(xí)與應(yīng)用谷歌Colaboratory -on的免費(fèi)特斯拉K80 GPU -使用Keras，Tensorflow和PyTorch。

image.png

你好窿春！我將向您展示如何使用Google Colab，這是Google為AI開發(fā)人員提供的免費(fèi)云服務(wù)采盒。使用Colab谁尸，您可以免費(fèi)在GPU上開發(fā)深度學(xué)習(xí)應(yīng)用程序。

感謝KDnuggets纽甘！

我很高興地宣布這篇博客文章被選為2018年2月的KDnuggets Silver Blog良蛮！在KDnuggets上閱讀此內(nèi)容。

image.png

什么是Google Colab悍赢？

谷歌Colab是一個免費(fèi)的云服務(wù)决瞳，現(xiàn)在它支持免費(fèi)的GPU！

您可以;

• 提高您的Python編程語言編碼技巧左权。
• 開發(fā)利用流行的庫如深學(xué)習(xí)應(yīng)用Keras皮胡，TensorFlow，PyTorch赏迟，和OpenCV的屡贺。

將Colab與其他免費(fèi)云服務(wù)區(qū)分開來的最重要特征是：Colab提供GPU并且完全免費(fèi)。

有關(guān)該服務(wù)的詳細(xì)信息锌杀，請參見常見問題頁面甩栈。

讓Google Colab隨時可用

在Google云端硬盤上創(chuàng)建文件夾

image.png

由于Colab正在開發(fā)您自己的Google云端硬盤，我們首先需要指定我們可以使用的文件夾糕再。我在Google云端硬盤上創(chuàng)建了一個名為“ app ” 的文件夾量没。當(dāng)然，您可以使用其他名稱或選擇默認(rèn)的Colab Notebooks文件夾而不是app文件夾突想。

image.png

我創(chuàng)建了一個空的“app”文件夾

創(chuàng)建新的Colab筆記本

通過右鍵單擊>更多> Colaboratory創(chuàng)建新筆記本

image.png

右鍵單擊>更多> Colaboratory

通過單擊文件名重命名筆記本殴蹄。

image.png

設(shè)置免費(fèi)GPU

改變默認(rèn)硬件（CPU到GPU究抓，反之亦然）非常簡單; 只需按照編輯>筆記本設(shè)置或運(yùn)行時>更改運(yùn)行時類型，然后選擇GPU作為硬件加速器袭灯。

image.png

使用Google Colab運(yùn)行基本Python代碼

現(xiàn)在我們可以開始使用Google Colab了刺下。

image.png

我將從Python Numpy Tutorial中運(yùn)行一些基本數(shù)據(jù)類型代碼。

image.png

它按預(yù)期工作:)如果你不知道Python是最流行的AI編程語言稽荧，我會推薦這個簡單而干凈的教程橘茉。

使用Google Colab運(yùn)行或?qū)?py文件

首先運(yùn)行這些代碼，以便安裝必要的庫并執(zhí)行授權(quán)蛤克。

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

當(dāng)您運(yùn)行上面的代碼時捺癞，您應(yīng)該看到如下結(jié)果：

image.png

完成授權(quán)程序后，

安裝您的Google云端硬盤：

!mkdir -p drive
!google-drive-ocamlfuse drive

安裝Keras：

!pip install -q keras

將mnist_cnn.py文件上傳到Google云端硬盤上的應(yīng)用文件夾构挤。

image.png

mnist_cnn.py文件

運(yùn)行下面的代碼在MNIST數(shù)據(jù)集上訓(xùn)練一個簡單的convnet髓介。

!python3 drive/app/mnist_cnn.py

image.png

從結(jié)果中可以看出，每個時期只持續(xù)11秒筋现。

下載泰坦尼克號數(shù)據(jù)集（.csv文件）和顯示前5行

如果要將.csv文件從url下載 到“ app”文件夾唐础，只需運(yùn)行：

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app

您可以將.csv文件直接上傳到“app”文件夾而不是wget方法。

image.png

在“ app ”文件夾中讀取 .csv文件并顯示前5行：

import pandas as pd
titanic = pd.read_csv(“drive/app/Titanic.csv”)
titanic.head(5)

image.png

克隆Github Repo到Google Colab

用Git克隆Github repo很容易矾飞。

第1步：找到Github Repo并獲取“Git”鏈接

找到任何Github repo使用一膨。

例如：https://github.com/wxs/keras-mnist-tutorial

克隆或下載>復(fù)制鏈接！

image.png

2. Git克隆

只需運(yùn)行：

!git clone https://github.com/wxs/keras-mnist-tutorial.git

image.png

3.在Google云端硬盤中打開文件夾

文件夾與Github repo當(dāng)然相同:)

image.png

4.打開筆記本

右鍵單擊>打開方式> Colaboratory

image.png

5. 運(yùn)行

現(xiàn)在洒沦，您可以在Google Colab中運(yùn)行Github repo豹绪。

image.png

一些有用的提示

1.如何安裝庫？

Keras

!pip install -q keras
import keras

PyTorch

from os import path
from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag
platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())
accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu'
!pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision
import torch

或試試這個：

!pip3 install torch torchvision

MxNet

!apt install libnvrtc8.0
!pip install mxnet-cu80
import mxnet as mx

OpenCV的

!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2

XGBoost

!pip install -q xgboost==0.4a30
import xgboost

GraphViz的

!apt-get -qq install -y graphviz && pip install -q pydot
import pydot

7zip Reader

!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive

其他圖書館

!pip install或 !apt-get install安裝其他庫申眼。

2. GPU工作嗎瞒津？

要查看您當(dāng)前是否在Colab中使用GPU，可以運(yùn)行以下代碼以進(jìn)行交叉檢查：

import tensorflow as tf
tf.test.gpu_device_name()

image.png

3.我使用的是哪種GPU括尸？

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

目前巷蚪，Colab僅提供特斯拉K80。

image.png

RAM怎么樣濒翻？

!cat /proc/meminfo

image.png

那CPU怎么樣屁柏？

!cat /proc/cpuinfo

image.png

6.更改工作目錄

通常，當(dāng)您運(yùn)行此代碼時：

!ls

您可能會看到datalab和驅(qū)動器文件夾有送。

因此淌喻，您必須在定義每個文件名之前添加drive / app。

要解決此問題娶眷，您只需更改工作目錄即可似嗤。（在本教程中，我更改為app文件夾）使用以下簡單代碼：

import os
os.chdir("drive/app")

運(yùn)行上面的代碼后届宠，如果再次運(yùn)行

!ls

您將看到應(yīng)用程序文件夾內(nèi)容烁落，不再需要一直添加驅(qū)動器/應(yīng)用程序。

7.“ No backend with GPU available”錯誤解決方案

如果您遇到此錯誤：

Failed to assign a backend
No backend with GPU available. Would you like to use a runtime with no accelerator?

稍后再試一次豌注。很多人現(xiàn)在正在GPU上使用輪胎伤塌，并且當(dāng)所有GPU都在使用時會出現(xiàn)此消息。

參考

8.如何清除所有單元格的輸出

按照工具>>命令選項板>>清除所有輸出

9.“不應(yīng)解析apt-key輸出（stdout不是終端）”警告

如果您遇到此警告：

Warning: apt-key output should not be parsed (stdout is not a terminal)

這意味著身份驗證已經(jīng)完成轧铁。您只需要安裝Google云端硬盤：

!mkdir -p drive
!google-drive-ocamlfuse drive

10.如何在Google Colab中使用Tensorboard每聪？

我推薦這個repo：

https://github.com/mixuala/colab_utils

11.如何重新啟動Google Colab？

要重新啟動（或重置）虛擬機(jī)齿风，只需運(yùn)行：

!kill -9 -1

12.如何向Google Colab添加表單药薯？

為了不在代碼中每次都更改超參數(shù)，您只需將表單添加到Google Colab即可救斑。

image.png

例如童本，我添加了包含**learning_rate**變量和**optimizer**字符串的表單。

image.png

13.如何查看函數(shù)參數(shù)脸候？

要在TensorFlow穷娱，Keras等中查看函數(shù)參數(shù)，只需在函數(shù)名后添加問號（运沦？）：

image.png

現(xiàn)在泵额，您無需單擊TensorFlow網(wǎng)站即可查看原始文檔。

image.png

結(jié)論

我認(rèn)為Colab將為世界各地的深度學(xué)習(xí)和人工智能研究帶來新的氣息携添。

如果你發(fā)現(xiàn)這篇文章有用嫁盲，那么如果你給它一些掌聲并分享以幫助其他人找到它會意味著很多！并隨時在下面發(fā)表評論烈掠。

你可以在LinkedIn上找到我羞秤。

最后一點(diǎn)

此博客文章將不斷更新。

更新日志

2018年1月26日

• “插入應(yīng)用程序文件夾到路徑” 刪除
• “下載向叉，閱讀和顯示.csv文件” 補(bǔ)充道
• “一些有用的提示” 補(bǔ)充說

2018年1月27日

• “更改工作目錄” 補(bǔ)充說

2018年1月28日

• “將Github Repo克隆到Google Colab” 補(bǔ)充道
• “pip install mxnet”補(bǔ)充道

2018年1月29日

No backend with GPU available.添加錯誤解決方案

2018年2月2日

• “MxNet安裝” 發(fā)生了變化（CPU到GPU）

2018年5月2日

• “如何清除所有細(xì)胞的輸出” 補(bǔ)充說
• apt-key output should not be parsed (stdout is not a terminal)警告補(bǔ)充說

2018年11月2日

• “如何使用Tensorboard與谷歌Colab” 添加

2018年2月20日

• KDnuggets重新發(fā)布了本教程锥腻。

2018年2月28日

• “如何重新啟動Google Colab？” 補(bǔ)充道

2018年9月3日

• 如何向Google Colab添加表單母谎？添加

2018年3月21日

• 如何查看函數(shù)參數(shù)瘦黑？添加

2018年5月20日

• PyTorch安裝已更新

原文：https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
作者：fuat