摘要：一個神經(jīng)網(wǎng)絡有N個樣本，經(jīng)過這個網(wǎng)絡把N個樣本分為M類戴陡，那么此時backward參數(shù)的維度應該是【N X M】
正常來說backward（）函數(shù)是要傳入?yún)?shù)的，一直沒弄明白backward需要傳入的參數(shù)具體含義耗啦，但是沒關系，生命在與折騰半夷，咱們來折騰一下，嘿嘿迅细。
首先巫橄，如果out.backward()中的out是一個標量的話（相當于一個神經(jīng)網(wǎng)絡有一個樣本，這個樣本有兩個屬性茵典，神經(jīng)網(wǎng)絡有一個輸出）那么此時我的backward函數(shù)是不需要輸入任何參數(shù)的湘换。
運行結果：
不難看出位隶，我們構建了這樣的一個函數(shù)：
所以其求導也很容易看出：
這是對其進行標量自動求導的結果
如果out.backward()中的out是一個向量（或者理解成1xN的矩陣）的話设易，我們對向量進行自動求導阀湿，看看會發(fā)生什么池磁？
先構建這樣的一個模型（相當于一個神經(jīng)網(wǎng)絡有一個樣本射沟，這個樣本有兩個屬性清女，神經(jīng)網(wǎng)絡有兩個輸出）：
模型也很簡單渗蟹，不難看出out求導出來的雅克比應該是：
僧叉，因為a1 = 2结澄，a2 = 4哥谷，所以上面的矩陣應該是
運行的結果：
嗯，的確是8和96麻献，但是仔細想一想们妥，和咱們想要的雅克比矩陣的形式也不一樣啊。難道是backward自動把0給省略了勉吻？
咱們繼續(xù)試試监婶，這次在上一個模型的基礎上進行小修改，如下：
可以看出這個模型的雅克比應該是：
運行一下齿桃，看是不是：
等等惑惶，什么鬼？正常來說不應該是? [ [ 8 , 2 ] , [ 2 , 96 ] ]么源譬？
我是誰集惋？我再哪？
為什么就給我2個數(shù)踩娘，而且是? 8 + 2 = 10 刮刑，96 + 2 = 98 。難道都是加的 2 养渴？
想一想雷绢，剛才咱們backward中傳的參數(shù)是 [ [ 1 , 1 ] ]，難道安裝這個關系對應求和了理卑？
咱們換個參數(shù)來試一試翘紊，程序中只更改傳入的參數(shù)為[ [ 1 , 2 ] ]：
運行一下：
嗯，這回可以理解了藐唠，我們傳入的參數(shù)帆疟，是對原來模型正常求導出來的雅克比矩陣進行線性操作鹉究，可以把我們傳進的參數(shù)（設為arg）看成一個列向量，那么我們得到的結果就是(注意這里是矩陣乘法踪宠，為了好表示我用了*):
( Jacobi * arg )T
在這個題里自赔，我們得到的實際是：
看起來一切完美的解釋了，但是就在我剛剛打字的一刻柳琢，我意識到官方文檔中說k.backward()傳入的參數(shù)應該和k具有相同的維度绍妨，所以如果按上述去解釋是解釋不通的。
哪里出問題了呢柬脸？
仔細看了一下他去，原來是這樣的：在對雅克比矩陣進行線性操作的時候，應該把我們傳進的參數(shù)（設為arg）看成一個行向量（不是列向量）倒堕，那么我們得到的結果就是(注意這里是矩陣乘法灾测，為了好表示我用了*):
?( arg * Jacobi?)T
即
?這回我們就解釋的通了。
現(xiàn)在我們來輸出一下雅克比矩陣吧涩馆，為了不引起歧義行施，我們讓雅克比矩陣的每個數(shù)值都不一樣（一開始分析錯了就是因為雅克比矩陣中有相同的數(shù)據(jù)），所以模型小改動如下：
如果沒問題的話咱們的雅克比矩陣應該是 [ [ 8 , 2 ] , [ 4 , 96 ] ]
好了魂那，下面是見證奇跡的時刻了,不要眨眼睛奧，千萬不要眨眼睛......
3
2
1
砰............
好了稠项，現(xiàn)在總結一下：因為經(jīng)過了復雜的神經(jīng)網(wǎng)絡之后涯雅，out中每個數(shù)值都是由很多輸入樣本的屬性（也就是輸入數(shù)據(jù)）線性或者非線性組合而成的，那么out中的每個數(shù)值和輸入數(shù)據(jù)的每個數(shù)值都有關聯(lián)展运，也就是說【out】中的每個數(shù)都可以對【a】中每個數(shù)求導活逆，那么我們backward（）的參數(shù)[k1,k2,k3....kn]的含義就是：
也可以理解成每個out分量對an求導時的權重。
現(xiàn)在拗胜，如果out是一個矩陣呢蔗候？
下面的例子也可以理解為：相當于一個神經(jīng)網(wǎng)絡有兩個樣本，每個樣本有兩個屬性埂软，神經(jīng)網(wǎng)絡有兩個輸出.
如果前面的例子理解了锈遥，那么這個也很好理解，backward輸入的參數(shù)k是一個2x1的矩陣勘畔，2代表的就是樣本數(shù)量所灸，就是在前面的基礎上，再對每個樣本進行加權求和炫七。
結果是：
如果有興趣爬立，也可以拓展一下多個樣本的多分類問題，猜一下k的維度應該是【輸入樣本的個數(shù) X 分類的個數(shù)】
