4.2 模型參數(shù)的訪問治笨、初始化和共享
在3.3節(jié)（線性回歸的簡潔實(shí)現(xiàn)）中痹扇，我們通過init模塊來初始化模型的參數(shù)痒给。我們也介紹了訪問模型參數(shù)的簡單方法榜田。本節(jié)將深入講解如何訪問和初始化模型參數(shù)莱革，以及如何在多個(gè)層之間共享同一份模型參數(shù)晕粪。
我們先定義一個(gè)與上一節(jié)中相同的含單隱藏層的多層感知機(jī)乡革。我們依然使用默認(rèn)方式初始化它的參數(shù)哨免，并做一次前向計(jì)算迫皱。與之前不同的是歉闰，在這里我們從nn中導(dǎo)入了init模塊，它包含了多種模型初始化方法。
import torch
from torch import nn
from torch.nn import init
net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1)) # pytorch已進(jìn)行默認(rèn)初始化
print(net)
X = torch.rand(2, 4)
Y = net(X).sum()
輸出：
Sequential(
(0): Linear(in_features=4, out_features=3, bias=True)
(1): ReLU()
(2): Linear(in_features=3, out_features=1, bias=True)
)
4.2.1 訪問模型參數(shù)
回憶一下上一節(jié)中提到的Sequential類與Module類的繼承關(guān)系新娜。對于Sequential實(shí)例中含模型參數(shù)的層赵辕，我們可以通過Module類的parameters()或者named_parameters方法來訪問所有參數(shù)（以迭代器的形式返回），后者除了返回參數(shù)Tensor外還會返回其名字概龄。下面还惠，訪問多層感知機(jī)net的所有參數(shù)：
print(type(net.named_parameters()))
for name, param in net.named_parameters():
print(name, param.size())
輸出：
<class 'generator'>
0.weight torch.Size([3, 4])
0.bias torch.Size([3])
2.weight torch.Size([1, 3])
2.bias torch.Size([1])
可見返回的名字自動(dòng)加上了層數(shù)的索引作為前綴。 我們再來訪問net中單層的參數(shù)私杜。對于使用Sequential類構(gòu)造的神經(jīng)網(wǎng)絡(luò)蚕键，我們可以通過方括號[]來訪問網(wǎng)絡(luò)的任一層。索引0表示隱藏層為Sequential實(shí)例最先添加的層衰粹。
for name, param in net[0].named_parameters():
print(name, param.size(), type(param))
輸出：
weight torch.Size([3, 4]) <class 'torch.nn.parameter.Parameter'>
bias torch.Size([3]) <class 'torch.nn.parameter.Parameter'>
因?yàn)檫@里是單層的所以沒有了層數(shù)索引的前綴锣光。另外返回的param的類型為torch.nn.parameter.Parameter，其實(shí)這是Tensor的子類铝耻，和Tensor不同的是如果一個(gè)Tensor是Parameter誊爹，那么它會自動(dòng)被添加到模型的參數(shù)列表里，來看下面這個(gè)例子瓢捉。
class MyModel(nn.Module):
def __init__(self, **kwargs):
super(MyModel, self).__init__(**kwargs)
self.weight1 = nn.Parameter(torch.rand(20, 20))
self.weight2 = torch.rand(20, 20)
def forward(self, x):
pass
n = MyModel()
for name, param in n.named_parameters():
print(name)
輸出:
weight1
上面的代碼中weight1在參數(shù)列表中但是weight2卻沒在參數(shù)列表中频丘。
因?yàn)?code>Parameter是Tensor，即Tensor擁有的屬性它都有泡态，比如可以根據(jù)data來訪問參數(shù)數(shù)值搂漠，用grad來訪問參數(shù)梯度。
weight_0 = list(net[0].parameters())[0]
print(weight_0.data)
print(weight_0.grad) # 反向傳播前梯度為None
Y.backward()
print(weight_0.grad)
輸出：
tensor([[ 0.2719, -0.0898, -0.2462, 0.0655],
[-0.4669, -0.2703, 0.3230, 0.2067],
[-0.2708, 0.1171, -0.0995, 0.3913]])
None
tensor([[-0.2281, -0.0653, -0.1646, -0.2569],
[-0.1916, -0.0549, -0.1382, -0.2158],
[ 0.0000, 0.0000, 0.0000, 0.0000]])
4.2.2 初始化模型參數(shù)
我們在3.15節(jié)（數(shù)值穩(wěn)定性和模型初始化）中提到了PyTorch中nn.Module的模塊參數(shù)都采取了較為合理的初始化策略（不同類型的layer具體采樣的哪一種初始化方法的可參考源代碼）某弦。但我們經(jīng)常需要使用其他方法來初始化權(quán)重桐汤。PyTorch的init模塊里提供了多種預(yù)設(shè)的初始化方法。在下面的例子中靶壮，我們將權(quán)重參數(shù)初始化成均值為0怔毛、標(biāo)準(zhǔn)差為0.01的正態(tài)分布隨機(jī)數(shù)，并依然將偏差參數(shù)清零亮钦。
for name, param in net.named_parameters():
if 'weight' in name:
init.normal_(param, mean=0, std=0.01)
print(name, param.data)
輸出：
0.weight tensor([[ 0.0030, 0.0094, 0.0070, -0.0010],
[ 0.0001, 0.0039, 0.0105, -0.0126],
[ 0.0105, -0.0135, -0.0047, -0.0006]])
2.weight tensor([[-0.0074, 0.0051, 0.0066]])
下面使用常數(shù)來初始化權(quán)重參數(shù)馆截。
for name, param in net.named_parameters():
if 'bias' in name:
init.constant_(param, val=0)
print(name, param.data)
輸出：
0.bias tensor([0., 0., 0.])
2.bias tensor([0.])
4.2.3 自定義初始化方法
有時(shí)候我們需要的初始化方法并沒有在init模塊中提供。這時(shí)蜂莉，可以實(shí)現(xiàn)一個(gè)初始化方法蜡娶，從而能夠像使用其他初始化方法那樣使用它。在這之前我們先來看看PyTorch是怎么實(shí)現(xiàn)這些初始化方法的映穗，例如torch.nn.init.normal_：
def normal_(tensor, mean=0, std=1):
with torch.no_grad():
return tensor.normal_(mean, std)
可以看到這就是一個(gè)inplace改變Tensor值的函數(shù)窖张，而且這個(gè)過程是不記錄梯度的。 類似的我們來實(shí)現(xiàn)一個(gè)自定義的初始化方法蚁滋。在下面的例子里宿接，我們令權(quán)重有一半概率初始化為0赘淮，有另一半概率初始化為<nobr aria-hidden="true" style="-webkit-font-smoothing: antialiased; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); text-size-adjust: none; box-sizing: border-box; transition: none 0s ease 0s; border: 0px; padding: 0px; margin: 0px; max-width: none; max-height: none; min-width: 0px; min-height: 0px; vertical-align: 0px; line-height: normal; text-decoration: none; white-space: nowrap !important;">[?10,?5]</nobr><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><annotation encoding="application/x-tex">[-10,-5]</annotation></semantics></math>[?10,?5]和<nobr aria-hidden="true" style="-webkit-font-smoothing: antialiased; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); text-size-adjust: none; box-sizing: border-box; transition: none 0s ease 0s; border: 0px; padding: 0px; margin: 0px; max-width: none; max-height: none; min-width: 0px; min-height: 0px; vertical-align: 0px; line-height: normal; text-decoration: none; white-space: nowrap !important;">[5,10]</nobr><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><annotation encoding="application/x-tex">[5,10]</annotation></semantics></math>[5,10]兩個(gè)區(qū)間里均勻分布的隨機(jī)數(shù)。
def init_weight_(tensor):
with torch.no_grad():
tensor.uniform_(-10, 10)
tensor *= (tensor.abs() >= 5).float()
for name, param in net.named_parameters():
if 'weight' in name:
init_weight_(param)
print(name, param.data)
輸出：
0.weight tensor([[ 7.0403, 0.0000, -9.4569, 7.0111],
[-0.0000, -0.0000, 0.0000, 0.0000],
[ 9.8063, -0.0000, 0.0000, -9.7993]])
2.weight tensor([[-5.8198, 7.7558, -5.0293]])
此外睦霎，參考2.3.2節(jié)梢卸，我們還可以通過改變這些參數(shù)的data來改寫模型參數(shù)值同時(shí)不會影響梯度:
for name, param in net.named_parameters():
if 'bias' in name:
param.data += 1
print(name, param.data)
輸出：
0.bias tensor([1., 1., 1.])
2.bias tensor([1.])
4.2.4 共享模型參數(shù)
在有些情況下，我們希望在多個(gè)層之間共享模型參數(shù)副女。4.1.3節(jié)提到了如何共享模型參數(shù): Module類的forward函數(shù)里多次調(diào)用同一個(gè)層蛤高。此外，如果我們傳入Sequential的模塊是同一個(gè)Module實(shí)例的話參數(shù)也是共享的碑幅，下面來看一個(gè)例子:
linear = nn.Linear(1, 1, bias=False)
net = nn.Sequential(linear, linear)
print(net)
for name, param in net.named_parameters():
init.constant_(param, val=3)
print(name, param.data)
輸出：
Sequential(
(0): Linear(in_features=1, out_features=1, bias=False)
(1): Linear(in_features=1, out_features=1, bias=False)
)
0.weight tensor([[3.]])
在內(nèi)存中戴陡，這兩個(gè)線性層其實(shí)一個(gè)對象:
print(id(net[0]) == id(net[1]))
print(id(net[0].weight) == id(net[1].weight))
輸出:
True
True
因?yàn)槟Ｐ蛥?shù)里包含了梯度，所以在反向傳播計(jì)算時(shí)沟涨，這些共享的參數(shù)的梯度是累加的:
x = torch.ones(1, 1)
y = net(x).sum()
print(y)
y.backward()
print(net[0].weight.grad) # 單次梯度是3恤批，兩次所以就是6
輸出:
tensor(9., grad_fn=<SumBackward0>)
tensor([[6.]])
小結(jié)
- 有多種方法來訪問、初始化和共享模型參數(shù)裹赴。
- 可以自定義初始化方法喜庞。
注：本節(jié)與原書此節(jié)有一些不同，原書傳送門
