3.3 線性回歸的簡潔實(shí)現(xiàn)

隨著深度學(xué)習(xí)框架的發(fā)展，開發(fā)深度學(xué)習(xí)應(yīng)用變得越來越便利休涤。實(shí)踐中冀值，我們通成眨可以用比上一節(jié)更簡潔的代碼來實(shí)現(xiàn)同樣的模型奢赂。在本節(jié)中富岳，我們將介紹如何使用PyTorch更方便地實(shí)現(xiàn)線性回歸的訓(xùn)練呛哟。

3.3.1 生成數(shù)據(jù)集

我們生成與上一節(jié)中相同的數(shù)據(jù)集苞俘。其中features是訓(xùn)練數(shù)據(jù)特征癣诱，labels是標(biāo)簽计维。

num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.tensor(np.random.normal(0, 1, (num_examples, num_inputs)), dtype=torch.float)
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)

3.3.2 讀取數(shù)據(jù)

PyTorch提供了data包來讀取數(shù)據(jù)。由于data常用作變量名撕予，我們將導(dǎo)入的data模塊用Data代替鲫惶。在每一次迭代中，我們將隨機(jī)讀取包含10個數(shù)據(jù)樣本的小批量实抡。

import torch.utils.data as Data

batch_size = 10
# 將訓(xùn)練數(shù)據(jù)的特征和標(biāo)簽組合
dataset = Data.TensorDataset(features, labels)
# 隨機(jī)讀取小批量
data_iter = Data.DataLoader(dataset, batch_size, shuffle=True)

這里data_iter的使用跟上一節(jié)中的一樣欠母。讓我們讀取并打印第一個小批量數(shù)據(jù)樣本。

for X, y in data_iter:
    print(X, y)
    break

輸出：

tensor([[-2.7723, -0.6627],
        [-1.1058,  0.7688],
        [ 0.4901, -1.2260],
        [-0.7227, -0.2664],
        [-0.3390,  0.1162],
        [ 1.6705, -2.7930],
        [ 0.2576, -0.2928],
        [ 2.0475, -2.7440],
        [ 1.0685,  1.1920],
        [ 1.0996,  0.5106]]) 
 tensor([ 0.9066, -0.6247,  9.3383,  3.6537,  3.1283, 17.0213,  5.6953, 17.6279,
         2.2809,  4.6661])

3.3.3 定義模型

在上一節(jié)從零開始的實(shí)現(xiàn)中吆寨，我們需要定義模型參數(shù)赏淌，并使用它們一步步描述模型是怎樣計算的。當(dāng)模型結(jié)構(gòu)變得更復(fù)雜時啄清，這些步驟將變得更繁瑣六水。其實(shí)，PyTorch提供了大量預(yù)定義的層辣卒，這使我們只需關(guān)注使用哪些層來構(gòu)造模型掷贾。下面將介紹如何使用PyTorch更簡潔地定義線性回歸。

首先添寺，導(dǎo)入torch.nn模塊胯盯。實(shí)際上，“nn”是neural networks（神經(jīng)網(wǎng)絡(luò)）的縮寫计露。顧名思義博脑，該模塊定義了大量神經(jīng)網(wǎng)絡(luò)的層。之前我們已經(jīng)用過了autograd票罐，而nn就是利用autograd來定義模型叉趣。nn的核心數(shù)據(jù)結(jié)構(gòu)是Module，它是一個抽象概念该押，既可以表示神經(jīng)網(wǎng)絡(luò)中的某個層（layer）疗杉，也可以表示一個包含很多層的神經(jīng)網(wǎng)絡(luò)。在實(shí)際使用中，最常見的做法是繼承nn.Module烟具，撰寫自己的網(wǎng)絡(luò)/層梢什。一個nn.Module實(shí)例應(yīng)該包含一些層以及返回輸出的前向傳播（forward）方法。下面先來看看如何用nn.Module實(shí)現(xiàn)一個線性回歸模型朝聋。

class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)
    # forward 定義前向傳播
    def forward(self, x):
        y = self.linear(x)
        return y

net = LinearNet(num_inputs)
print(net) # 使用print可以打印出網(wǎng)絡(luò)的結(jié)構(gòu)

輸出：

LinearNet(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)

事實(shí)上我們還可以用nn.Sequential來更加方便地搭建網(wǎng)絡(luò)嗡午，Sequential是一個有序的容器，網(wǎng)絡(luò)層將按照在傳入Sequential的順序依次被添加到計算圖中冀痕。

# 寫法一
net = nn.Sequential(
    nn.Linear(num_inputs, 1)
    # 此處還可以傳入其他層
    )

# 寫法二
net = nn.Sequential()
net.add_module('linear', nn.Linear(num_inputs, 1))
# net.add_module ......

# 寫法三
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
          ('linear', nn.Linear(num_inputs, 1))
          # ......
        ]))

print(net)
print(net[0])

輸出：

Sequential(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)
Linear(in_features=2, out_features=1, bias=True)

可以通過net.parameters()來查看模型所有的可學(xué)習(xí)參數(shù)荔睹，此函數(shù)將返回一個生成器。

for param in net.parameters():
    print(param)

輸出：

Parameter containing:
tensor([[-0.0277,  0.2771]], requires_grad=True)
Parameter containing:
tensor([0.3395], requires_grad=True)

回顧圖3.1中線性回歸在神經(jīng)網(wǎng)絡(luò)圖中的表示言蛇。作為一個單層神經(jīng)網(wǎng)絡(luò)僻他，線性回歸輸出層中的神經(jīng)元和輸入層中各個輸入完全連接。因此腊尚，線性回歸的輸出層又叫全連接層吨拗。

注意：torch.nn僅支持輸入一個batch的樣本不支持單個樣本輸入，如果只有單個樣本跟伏，可使用input.unsqueeze(0)來添加一維丢胚。

3.3.4 初始化模型參數(shù)

在使用net前，我們需要初始化模型參數(shù)受扳，如線性回歸模型中的權(quán)重和偏差携龟。PyTorch在init模塊中提供了多種參數(shù)初始化方法。這里的init是initializer的縮寫形式勘高。我們通過init.normal_將權(quán)重參數(shù)每個元素初始化為隨機(jī)采樣于均值為0峡蟋、標(biāo)準(zhǔn)差為0.01的正態(tài)分布。偏差會初始化為零华望。

from torch.nn import init

init.normal_(net[0].weight, mean=0, std=0.01)
init.constant_(net[0].bias, val=0)  # 也可以直接修改bias的data: net[0].bias.data.fill_(0)

注：如果這里的net是用3.3.3節(jié)一開始的代碼自定義的蕊蝗，那么上面代碼會報錯，net[0].weight應(yīng)改為net.linear.weight赖舟，bias亦然蓬戚。因?yàn)?code>net[0]這樣根據(jù)下標(biāo)訪問子模塊的寫法只有當(dāng)net是個ModuleList或者Sequential實(shí)例時才可以，詳見4.1節(jié)宾抓。

3.3.5 定義損失函數(shù)

PyTorch在nn模塊中提供了各種損失函數(shù)子漩，這些損失函數(shù)可看作是一種特殊的層，PyTorch也將這些損失函數(shù)實(shí)現(xiàn)為nn.Module的子類石洗。我們現(xiàn)在使用它提供的均方誤差損失作為模型的損失函數(shù)幢泼。

loss = nn.MSELoss()

3.3.6 定義優(yōu)化算法

同樣，我們也無須自己實(shí)現(xiàn)小批量隨機(jī)梯度下降算法讲衫。torch.optim模塊提供了很多常用的優(yōu)化算法比如SGD缕棵、Adam和RMSProp等。下面我們創(chuàng)建一個用于優(yōu)化net所有參數(shù)的優(yōu)化器實(shí)例，并指定學(xué)習(xí)率為0.03的小批量隨機(jī)梯度下降（SGD）為優(yōu)化算法招驴。

import torch.optim as optim

optimizer = optim.SGD(net.parameters(), lr=0.03)
print(optimizer)

輸出：

SGD (
Parameter Group 0
    dampening: 0
    lr: 0.03
    momentum: 0
    nesterov: False
    weight_decay: 0
)

我們還可以為不同子網(wǎng)絡(luò)設(shè)置不同的學(xué)習(xí)率篙程，這在finetune時經(jīng)常用到。例：

optimizer =optim.SGD([
                # 如果對某個參數(shù)不指定學(xué)習(xí)率别厘，就使用最外層的默認(rèn)學(xué)習(xí)率
                {'params': net.subnet1.parameters()}, # lr=0.03
                {'params': net.subnet2.parameters(), 'lr': 0.01}
            ], lr=0.03)

有時候我們不想讓學(xué)習(xí)率固定成一個常數(shù)房午，那如何調(diào)整學(xué)習(xí)率呢？主要有兩種做法丹允。一種是修改optimizer.param_groups中對應(yīng)的學(xué)習(xí)率，另一種是更簡單也是較為推薦的做法——新建優(yōu)化器袋倔，由于optimizer十分輕量級雕蔽，構(gòu)建開銷很小，故而可以構(gòu)建新的optimizer宾娜。但是后者對于使用動量的優(yōu)化器（如Adam）批狐，會丟失動量等狀態(tài)信息，可能會造成損失函數(shù)的收斂出現(xiàn)震蕩等情況前塔。

# 調(diào)整學(xué)習(xí)率
for param_group in optimizer.param_groups:
    param_group['lr'] *= 0.1 # 學(xué)習(xí)率為之前的0.1倍

3.3.7 訓(xùn)練模型

在使用Gluon訓(xùn)練模型時嚣艇，我們通過調(diào)用optim實(shí)例的step函數(shù)來迭代模型參數(shù)。按照小批量隨機(jī)梯度下降的定義华弓，我們在step函數(shù)中指明批量大小食零，從而對批量中樣本梯度求平均。

num_epochs = 3
for epoch in range(1, num_epochs + 1):
    for X, y in data_iter:
        output = net(X)
        l = loss(output, y.view(-1, 1))
        optimizer.zero_grad() # 梯度清零寂屏，等價于net.zero_grad()
        l.backward()
        optimizer.step()
    print('epoch %d, loss: %f' % (epoch, l.item()))

輸出：

epoch 1, loss: 0.000457
epoch 2, loss: 0.000081
epoch 3, loss: 0.000198

下面我們分別比較學(xué)到的模型參數(shù)和真實(shí)的模型參數(shù)贰谣。我們從net獲得需要的層，并訪問其權(quán)重（weight）和偏差（bias）迁霎。學(xué)到的參數(shù)和真實(shí)的參數(shù)很接近吱抚。

dense = net[0]
print(true_w, dense.weight)
print(true_b, dense.bias)

輸出：

[2, -3.4] tensor([[ 1.9999, -3.4005]])
4.2 tensor([4.2011])

小結(jié)

• 使用PyTorch可以更簡潔地實(shí)現(xiàn)模型。
• torch.utils.data模塊提供了有關(guān)數(shù)據(jù)處理的工具考廉，torch.nn模塊定義了大量神經(jīng)網(wǎng)絡(luò)的層秘豹，torch.nn.init模塊定義了各種初始化方法，torch.optim模塊提供了很多常用的優(yōu)化算法昌粤。

注：本節(jié)除了代碼之外與原書基本相同既绕，原書傳送門