在深度學(xué)習(xí)環(huán)境安裝一文中赔桌，我們已經(jīng)搭建了擼代碼的基本環(huán)境⊥驴現(xiàn)在就可以來(lái)正式寫代碼了册踩。我們今天的目標(biāo)是模擬線性回歸证薇，通過(guò)調(diào)整參數(shù)（斜率k和b）找到和數(shù)據(jù)最匹配的線性函數(shù)度苔。
tips: 所有代碼都在jupyter notebook中完成
自動(dòng)微分變量
首先是引入pytorch，以及包含的自動(dòng)微分變量包autograd
這個(gè)自動(dòng)微分變量是用來(lái)干什么的呢棕叫？
簡(jiǎn)單來(lái)說(shuō)，他是將張量的運(yùn)算“流程化”奕删，在使用自動(dòng)微分變量進(jìn)行運(yùn)算時(shí)俺泣，其實(shí)上是在構(gòu)建一個(gè)計(jì)算圖。
比如, 我們定義了兩個(gè)變量, 一個(gè)是tensor, 一個(gè)是自動(dòng)微分變量
requires_grad = True的含義完残，代表這個(gè)微分變量可反向傳播
tensor的方法variable幾乎都能用伏钠，而variable有很多它自己獨(dú)特的方法，比如反向傳播(backward)谨设，對(duì)輸入量求梯度值(grad())等等熟掂。稍后我們會(huì)在實(shí)例中對(duì)相關(guān)方法做進(jìn)一步解釋。
現(xiàn)在我們要知道的是扎拣，所有需要神經(jīng)網(wǎng)絡(luò)調(diào)整的參數(shù)赴肚，都需要具備“梯度可反傳”的性質(zhì)素跺，所以，他們?cè)诙x時(shí)誉券，都需要定義為自動(dòng)微分變量指厌。
讓我們?cè)俣x一個(gè)variable變量, torch.linspace(0, 10)是創(chuàng)建在閾值為[0, 10]上均等劃分出一個(gè)100維的向量，如夏所示
然后我們對(duì)這個(gè)變量進(jìn)行2步運(yùn)算
x + 2得到新變量y
y平方再取均值踊跟，得到一個(gè)變量z
上述過(guò)程用數(shù)學(xué)描述踩验，即可表示為如下復(fù)合函數(shù)。
如果在z上商玫，有任何的數(shù)值波動(dòng)箕憾，我們都可以用數(shù)學(xué)的方法，求出x偏導(dǎo)的一個(gè)解析解拳昌，即x對(duì)應(yīng)的數(shù)值波動(dòng)袭异。
而這個(gè)過(guò)程在神經(jīng)網(wǎng)絡(luò)中，就是梯度反傳地回。目標(biāo)值的數(shù)值波動(dòng)扁远，在自變量上都會(huì)有一個(gè)梯度的變化。
在pytorch中就更簡(jiǎn)單了刻像，只需要一句backword()命令畅买，不管中間經(jīng)歷了多復(fù)雜的函數(shù)運(yùn)算，都能直接在自變量中獲取梯度
神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是復(fù)雜的函數(shù)運(yùn)算细睡，我們把中間復(fù)雜的運(yùn)算部分交給機(jī)器谷羞，才能把更多的精力放在研究“函數(shù)組合”，也就是算法上
擬合線性回歸
了解神經(jīng)網(wǎng)絡(luò)最關(guān)鍵的反向傳播機(jī)制后溜徙，我們接下來(lái)嘗試做一個(gè)簡(jiǎn)單的擬合湃缎。
1. 生成數(shù)據(jù)
首先我們模擬一些離散的點(diǎn)。使用randn方法生成[0-1]區(qū)間內(nèi)正態(tài)分布的隨機(jī)點(diǎn)蠢壹，它接收一個(gè)生成數(shù)量的參數(shù)
設(shè)置完了之后我們把這些點(diǎn)畫出來(lái)嗓违，這里就用到了一個(gè)第三方的庫(kù)matplotlib.pyplot，官方文檔在這里图贸，上篇文章也帶大家安裝過(guò)蹂季。這里直接引入，并畫圖
繪圖結(jié)果如下
2. 寫模型主體
這個(gè)圖形是線性的疏日，我們就可以將它設(shè)為一個(gè)一次函數(shù)y = k * x + b的形式偿洁。
那我們的目標(biāo)就是，求出一組k和b沟优，使得最后得出的一次函數(shù)和數(shù)據(jù)最接近涕滋。
初始的k和b可以隨機(jī)生成，注意一定要將他們?cè)O(shè)置為微分變量挠阁，這樣才能獲取他們的梯度宾肺，
然后再設(shè)置一個(gè)學(xué)習(xí)率溯饵。學(xué)習(xí)率是一個(gè)超參數(shù)，一般可以設(shè)置為0.0001爱榕。如果太大會(huì)導(dǎo)致無(wú)法得到精確的結(jié)果瓣喊，而太小又需要數(shù)量更多的運(yùn)算過(guò)程。具體數(shù)值可以看訓(xùn)練情況調(diào)整黔酥。
現(xiàn)在就開始進(jìn)入訓(xùn)練代碼部分藻三，我們先上代碼
代碼中每一步都有清晰的注釋，我在這里著重解釋一下幾個(gè)重點(diǎn)：
- expand_as()命令是一個(gè)維度變化操作跪者，矩陣相乘操作對(duì)維度變化有要求棵帽，而它就是可以讓兩個(gè)相乘的矩陣維度匹配
2. 損失函數(shù)：損失函數(shù)是一門大學(xué)問(wèn)，他是預(yù)測(cè)值和真實(shí)值的“差異”渣玲，在這里選取的是最簡(jiǎn)單的損失函數(shù)逗概，即直接將真實(shí)值和預(yù)測(cè)值相減，而為了避免正負(fù)號(hào)的影響忘衍，再做了一次平方操作逾苫。最終的損失值一定是一個(gè)0維的實(shí)數(shù)，而我們計(jì)算過(guò)程使用的都是張量枚钓，所以最后取了每一位相加后的均值铅搓，即torch.mean((predictions - y) ** 2)
3. 自動(dòng)微分變量的值，需要使用x.data()獲取
4. 每次獲取到新的k和b后搀捷，記得清空k和b的梯度
每一輪訓(xùn)練我們都會(huì)得到一組新的k和b星掰，當(dāng)觀察到loss的下降趨勢(shì)逐漸變小時(shí)，說(shuō)明模型訓(xùn)練的差不多了嫩舟，這時(shí)候的k和b就是我們要的值了氢烘。那么我們可以嘗試畫出這條一次函數(shù)看看效果。
這時(shí)候我們需要引入計(jì)算包numby和繪圖包matplotlib家厌。
可以看到播玖，最終的一次函數(shù)和數(shù)據(jù)基本吻合
下回我會(huì)寫一篇真正的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程，更復(fù)雜也更有趣～
敬請(qǐng)期待
參考資料
深度學(xué)習(xí)原理與pytorch實(shí)戰(zhàn)視頻
pytorch官網(wǎng)
matplotlib繪圖庫(kù)官網(wǎng)
