深度學(xué)習(xí)相比較于之前的數(shù)學(xué)模型而言更容易上手。大多數(shù)研究深度學(xué)習(xí)的人都是在用那些牛人們創(chuàng)造的模型年局,只需要換一個(gè)不同當(dāng)應(yīng)用级及,再重新調(diào)一調(diào)參數(shù),就可以開始著重編故事寫論文了蓖议。就連深度學(xué)習(xí)玩的非常溜的同事們也自嘲“調(diào)得一手好參數(shù)虏杰,編得一手好故事”。無論如何勒虾,深度學(xué)習(xí)平民化終歸是一件好事纺阔。
就在這種背景下,pytorch的出現(xiàn)更是加速了深度學(xué)習(xí)工具包的平民化修然。雖然研究深度學(xué)習(xí)對(duì)數(shù)學(xué)理論的要求沒那么深笛钝,但是深度學(xué)習(xí)工具包的使用還是讓很多久經(jīng)沙場(chǎng)的程序員們很頭疼的。比如一個(gè)新手配置一個(gè)caffe環(huán)境大概需要一個(gè)星期到一個(gè)月左右的時(shí)間愕宋,里面需要解決很多層出不窮的bug玻靡。雖然谷歌的tensorflow出現(xiàn)之后,這個(gè)情況有所緩解掏婶,但是tensorflow很難用啃奴。具體問題比如tensorflow無法直接把學(xué)習(xí)過程中的某一層網(wǎng)絡(luò)特征調(diào)出來看,也無法直接使用多個(gè)gpu進(jìn)行訓(xùn)練雄妥。當(dāng)然最蕾,國外有一篇文章對(duì)tensorflow給出了比較全面而深刻的評(píng)價(jià),大家可以移步:https://indico.io/blog/the-good-bad-ugly-of-tensorflow/老厌。
關(guān)于深度學(xué)習(xí)的其它工具包瘟则,我會(huì)在下一次教程里給出。這里不再細(xì)說枝秤。在這次教程里醋拧,我根據(jù)自己的理解,主要借鑒(翻譯)了PyTorch的官網(wǎng)上給出的教程淀弹,原文在http://pytorch.org/tutorials/丹壕。
PyTorch是什么
PyTorch是一款很實(shí)用的深度學(xué)習(xí)工具包,比之前的谷歌推出的TensorFlow薇溃,微軟推出的CNTK菌赖,以及一些其他工具包Caffe,Theano沐序,MatConvNet琉用,MXNet要方便不少。
PyTorch的前身是Torch策幼。Torch這個(gè)工具包本身很好用邑时,但是因?yàn)樗怯梢婚T很小眾的編程語言Lua寫成,所以大多數(shù)人還是選用基于Python語言的TensorFlow特姐。Facebook的深度學(xué)習(xí)組的大牛們一看晶丘,哇,原來Python的受眾群這么大唐含,于是放下身段铣口,放棄了高逼格的Lua語言滤钱,改用Python語言重新寫了一遍Torch工具包,并在很多方面有了明顯的改進(jìn)脑题。于是,在今年年初铜靶,工業(yè)界和學(xué)術(shù)界評(píng)價(jià)最好的深度學(xué)習(xí)工具包PyTorch誕生了叔遂!誕生沒多久,使用PyTorch的科學(xué)家和工程師們就急速上升争剿,見下圖:
PyTorch出現(xiàn)不到2個(gè)月已艰,在github上使用其新成立的項(xiàng)目就多達(dá)1201個(gè),迅速上升至第4位蚕苇。最近的數(shù)據(jù)我暫時(shí)沒有找到哩掺,等有空專門搜索一下再提供給大家參考。
正如官網(wǎng)上說的涩笤,PyTorch有兩大特點(diǎn):可以有效利用GPU(use the power of GPUs)和提供了最大的靈活性和速度(provides maximum flexibility and speed)嚼吞。
Tensors(張量)
Tensor的中文意思是張量,張量是一種數(shù)據(jù)結(jié)構(gòu)的通用表現(xiàn)形式蹬碧。張量是分不同的階的舱禽。一個(gè)數(shù)字是0階張量,一個(gè)向量是1階張量恩沽,我們常用的矩陣是2階張量誊稚。大家可以通過下圖有一個(gè)直觀的感受:
在PyTorch中,Tensors和numpy中的ndarrays較為相似, 因此Tensor也能夠使用GPU來加速運(yùn)算罗心。
在python界面里里伯,我們可以先引入torch:
from __future__ import print_function
import torch
然后我們可以用Tensor構(gòu)造一個(gè)矩陣,比如
x=torch.Tensor(5,3)
print(x)
輸出的是一個(gè)5x3的矩陣渤闷,沒有初始化:
我們也可以用傳統(tǒng)的random模式構(gòu)建隨機(jī)矩陣:
x=torch.rand(5,3)
print(x)
輸出的是一個(gè)5x3的矩陣疾瓮,有初始化:
既然我們可以產(chǎn)生任意維度的張量,那么我們就可以在這些量上定義加肤晓、減爷贫、乘、除等操作补憾,比如最簡單的加法:
x=torch.rand(5,3)
y=torch.rand(5,3)
print(x+y) 或 print(torch.add(x,y))
我們得到:
如果我們需要把x+y作為一個(gè)結(jié)果存起來漫萄,也很容易:
result=torch.Tensor(5,3)
torch.add(x,y,out=result)
print(result)
得到的結(jié)果和上圖中的結(jié)果一樣。
如果只想看矩陣中的某一列盈匾,可以用
print(x[:,1])
以后我會(huì)詳細(xì)介紹PyTorch中的100多種Tensor操作腾务,對(duì),你沒看錯(cuò)削饵,操作有100多種岩瘦,時(shí)刻讓你有一種“還有這種操作未巫?!”的錯(cuò)覺启昧!
Troch張量和Numpy數(shù)組的互相轉(zhuǎn)換
我們把PyTorch中的張量轉(zhuǎn)變成Python中常用的Numpy數(shù)組也是非常容易的事情叙凡。
先在torch中定義一個(gè)tensor,如
a=torch.ones(5)
print(a)
得到的是
我們把a(bǔ)轉(zhuǎn)成numpy中的數(shù)組只需要執(zhí)行代碼:
b=a.numpy()
print(b)
得到的是[1.1.1.1.1.]這樣的數(shù)組密末。
我們改變數(shù)組a的值也很容易(b的值也被改變)握爷,比如
a.add_(1)
print(a)
print(b)
把numpy數(shù)組轉(zhuǎn)成torch中的張量也很簡單,只需要torch.from_numpy這個(gè)指令:
import numpy as np?
a=np.ones(5)
b=torch.from_numpy(a)
np.add(a,1,out=a)
print(a)
print(b)
我們得到
GPU中的Tensor
把數(shù)據(jù)放在GPU上處理是很有必要的严里,因?yàn)镚PU比CPU更適合處理張量數(shù)據(jù)模式新啼。
如果我們想在GPU上處理數(shù)據(jù),只需要在電腦里裝上合適版本的CUDA刹碾,并用到.cuda函數(shù)就可以了燥撞。
# let us run this cell only if CUDA is available
if torch.cuda.is_available():
? ? ? ? ?x=x.cuda()
? ? ? ? ?y=y.cuda()
? ? ? ? ?x+y
上面的代碼里,我們就把x通過x.cuda()放在了GPU上迷帜,并且讓x和同樣在GPU里的y相加物舒。
本教程代碼
本教程的代碼可以在這里下載:http://pytorch.org/tutorials/_downloads/tensor_tutorial.py