求偏導(dǎo)的一般形式

分析中的一些知識(shí)

映射 $f: R^n \rightarrow R^m, x \mapsto f(x)=y$ ，對(duì) $x=(x_1, x_2, \cdots, x_n)^T \in R^n$ 二蓝，存在 $y=(y_1, y_2, \cdots, y_m)^T=f(x) \in R^m$ 誉券，

當(dāng) $f$ 為線性函數(shù)時(shí) $y=Wx$ ，其中 $W \in R^{m\times n}$ 侣夷『崤螅可拆解為：
$\large y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \\ \end{pmatrix} = \begin{pmatrix} r_1x \\ r_2x \\ \vdots \\ r_mx \\ \end{pmatrix} = \begin{pmatrix} w_{1,1}x_1+w_{1,2}x_2+\cdots+w_{1,n}x_n \\ w_{2,1}x_1+w_{2,2}x_2+\cdots+w_{2,n}x_n \\ \vdots \\ w_{m,1}x_1+w_{m,2}x_2+\cdots+w_{m,n}x_n \\ \end{pmatrix}$

一階梯度為jaccob矩陣
$\large J = \begin{pmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} &\cdots& \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} &\cdots& \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} &\cdots& \frac{\partial y_m}{\partial x_n} \end{pmatrix}_{(m \times n)} \in \mathbb{R}^{m,n}$
特別的，當(dāng) $m=1$ 時(shí)百拓，一階梯度為：
$\frac{\partial{y}}{\partial{x}} = \nabla_x (y) = (\frac{\partial{y}}{\partial{x_1}},\frac{\partial{y}}{\partial{x_2}}, \cdots, \frac{\partial{y}}{\partial{x_n}})^T \in \mathbb{R}^n$

在pytorch的autograd.grad函數(shù)或backward方法中琴锭，grad_outputs/grad_tensors 是一個(gè)與outputs的形狀一致的向量，即：
$\large \mathrm{grad\_outputs}=(a_1, a_2, \cdots,a_m)^T$
在給定grad_outputs 之后衙传，真正返回的梯度為：
$\large grad = J^T \times \mathrm{grad\_outputs} = \begin{pmatrix} a_1\frac{\partial y_1}{\partial x_1}+a_2\frac{\partial y_2}{\partial x_2}+\cdots+a_m\frac{\partial y_m}{\partial x_1}\\ a_1\frac{\partial y_2}{\partial x_2}+a_2\frac{\partial y_1}{\partial x_2}+\cdots+a_m\frac{\partial y_m}{\partial x_2}\\ \cdots\cdots\cdots\cdots \\ a_1\frac{\partial y_1}{\partial x_n}+a_2\frac{\partial y_1}{\partial x_n}+\cdots+a_m\frac{\partial y_m}{\partial x_n}\\ \end{pmatrix}_{n\times 1} \in \mathbb{R}^n.$
輸出的梯度與inputs形狀一致的向量决帖，相當(dāng)于是將 $y$ 中每個(gè)維度的梯度進(jìn)行加權(quán)求和。

參考pytorch官網(wǎng)的關(guān)于求導(dǎo)教程蓖捶，我將其重新總結(jié)一下地回，意思是在得到 $y\in R^m$ 后用于計(jì)算損失： $z=g(y) \in R^1$ ，所以 $z$ 對(duì) $x$ 的梯度就根據(jù)<u>鏈?zhǔn)椒▌t</u>可以寫(xiě)為：（這里雅可比算子記為 $D$ 俊鱼， $y$ 對(duì) $x$ 的導(dǎo)數(shù)記為 $D_x (y)$ ）
$\frac{\partial z}{\partial x} = \sum_{i=1}^m \frac{\partial z}{\partial y_i} \frac{\partial y_i}{\partial x} = \sum_{i=1}^m \frac{\partial z}{\partial y_i} \begin{pmatrix} \frac{\partial y_i}{\partial x_1} \\ \frac{\partial y_i}{\partial x_2} \\ \vdots \\ \frac{\partial y_i}{\partial x_n} \\ \end{pmatrix}_{n \times 1} = \begin{pmatrix} \sum_{i=1}^m \frac{\partial z}{\partial y_i} \frac{\partial y_i}{\partial x_1} \\ \sum_{i=1}^m \frac{\partial z}{\partial y_i} \frac{\partial y_i}{\partial x_2} \\ \vdots \\ \sum_{i=1}^m \frac{\partial z}{\partial y_i} \frac{\partial y_i}{\partial x_n} \\ \end{pmatrix}_{n \times 1} \\ = [ \begin{pmatrix} \frac{\partial z}{\partial y_1} & \frac{\partial z}{\partial y_2} & \cdots & \frac{\partial z}{\partial y_m} \\ \end{pmatrix}_{1 \times m} \times \begin{pmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} &\cdots& \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} &\cdots& \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} &\cdots& \frac{\partial y_m}{\partial x_n} \end{pmatrix}_{n\times m} ]^T \\ = [ \begin{pmatrix} \nabla_y (z)^T \end{pmatrix}_{1 \times m} \times \begin{pmatrix} D_x (y) \end{pmatrix}_{n \times m} ]^T = \begin{pmatrix} D_x (y)^T \end{pmatrix}_{n \times m} \times \begin{pmatrix} \nabla_y (z) \end{pmatrix}_{m \times 1}$
或者根據(jù)<u>維度對(duì)齊</u>刻像，反向推出：
$\frac{\partial z}{\partial x} = \begin{pmatrix} \frac{\partial z}{\partial x_1} \\ \frac{\partial z}{\partial x_2} \\ \vdots \\ \frac{\partial z}{\partial x_n} \\ \end{pmatrix}_{n \times 1} = \begin{pmatrix} D_x (y)^T \end{pmatrix}_{n \times m} \times \begin{pmatrix} \nabla_y (z) \end{pmatrix}_{m \times 1} \\ = \begin{pmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_2}{\partial x_1} &\cdots& \frac{\partial y_m}{\partial x_1} \\ \frac{\partial y_1}{\partial x_2} & \frac{\partial y_2}{\partial x_2} &\cdots& \frac{\partial y_m}{\partial x_2} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_1}{\partial x_n} & \frac{\partial y_2}{\partial x_n} &\cdots& \frac{\partial y_m}{\partial x_n} \end{pmatrix}_{n \times m} \times \begin{pmatrix} \frac{\partial z}{\partial y_1} \\ \frac{\partial z}{\partial y_2} \\ \vdots \\ \frac{\partial z}{\partial y_m} \\ \end{pmatrix}_{m \times 1} = \begin{pmatrix} \sum_{i=1}^n \frac{\partial y_i}{\partial x_1} \frac{\partial z}{\partial y_i} \\ \sum_{i=1}^n \frac{\partial y_i}{\partial x_1} \frac{\partial z}{\partial y_i} \\ \vdots \\ \sum_{i=1}^n \frac{\partial y_i}{\partial x_1} \frac{\partial z}{\partial y_i} \\ \end{pmatrix}_{n \times 1} \\ = \sum_{i=1}^m \frac{\partial z}{\partial y_i} \begin{pmatrix} \frac{\partial y_i}{\partial x_1} \\ \frac{\partial y_i}{\partial x_2} \\ \vdots \\ \frac{\partial y_i}{\partial x_n} \\ \end{pmatrix}_{n \times 1} = \sum_{i=1}^m \frac{\partial z}{\partial y_i} \frac{\partial y_i}{\partial x}$
以上可以作為一般的復(fù)合多元函數(shù)的求導(dǎo)公式。

pytorch官網(wǎng)的教程

pytorch中求導(dǎo)函數(shù)還有兩個(gè)參數(shù)：

retain_graph如果為T(mén)rue并闲，則每次backward后细睡，梯度會(huì)累加，如線性層中參數(shù)b.grad開(kāi)始時(shí)為0帝火，第一次backward后b.grad=1溜徙，再一次backward候b.grad變?yōu)?。

分兩種情況考慮：一個(gè)節(jié)點(diǎn)衍生出多個(gè)節(jié)點(diǎn)：比如 $x=2z, y=z^2$ 這種z生成了x和y犀填。還有就是多個(gè)節(jié)點(diǎn)衍生出一個(gè)節(jié)點(diǎn)比如：要計(jì)算 $z=x^2 y$ （這里 $x,y,z$ 均為標(biāo)量）的導(dǎo)數(shù)蠢壹，有兩個(gè)變量 $x,y$ ， $\frac{\partial z}{\partial y} =x^2$ 九巡， $\frac{\partial z}{\partial x} =2xy$ 图贸，計(jì)算圖如下：

兩種計(jì)算圖.png

grad與backward的最大區(qū)別就是前者需要指定輸入輸出，并將計(jì)算的梯度結(jié)果以return形式返回；而后者不用指定輸入輸出求妹，計(jì)算的梯度結(jié)果直接存入葉子節(jié)點(diǎn)的grad屬性中乏盐。

create_graph如果要計(jì)算高階導(dǎo)數(shù)佳窑，則必須選為T(mén)rue制恍。

另外，更高維度的pytorch求導(dǎo)神凑，可以參考：https://blog.csdn.net/waitingwinter/article/details/105774720
因?yàn)楸救藭簳r(shí)用不到多元符合函數(shù)高階求導(dǎo)净神，就沒(méi)有去驗(yàn)證是否正確。

最后編輯于：2022.01.28 22:11:53

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末溉委，一起剝皮案震驚了整個(gè)濱河市鹃唯，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌瓣喊，老刑警劉巖坡慌，帶你破解...
沈念sama閱讀 207,113評(píng)論 6贊 481
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異藻三，居然都是意外死亡洪橘，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,644評(píng)論 2贊 381
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)棵帽，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)熄求，“玉大人，你說(shuō)我怎么就攤上這事逗概〉芡恚” “怎么了？”我有些...
開(kāi)封第一講書(shū)人閱讀 153,340評(píng)論 0贊 344
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵逾苫，是天一觀的道長(zhǎng)卿城。經(jīng)常有香客問(wèn)我，道長(zhǎng)铅搓，這世上最難降的妖魔是什么瑟押？我笑而不...
開(kāi)封第一講書(shū)人閱讀 55,449評(píng)論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮狸吞，結(jié)果婚禮上勉耀，老公的妹妹穿的比我還像新娘。我一直安慰自己蹋偏，他們只是感情好便斥，可當(dāng)我...
茶點(diǎn)故事閱讀 64,445評(píng)論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布。她就那樣靜靜地躺著威始，像睡著了一般枢纠。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上黎棠，一...
開(kāi)封第一講書(shū)人閱讀 49,166評(píng)論 1贊 284
城市分裂傳說(shuō)
那天晋渺，我揣著相機(jī)與錄音镰绎，去河邊找鬼。笑死木西，一個(gè)胖子當(dāng)著我的面吹牛畴栖，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播八千，決...
沈念sama閱讀 38,442評(píng)論 3贊 401
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼吗讶，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了恋捆？” 一聲冷哼從身側(cè)響起照皆，我...
開(kāi)封第一講書(shū)人閱讀 37,105評(píng)論 0贊 261
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎沸停，沒(méi)想到半個(gè)月后膜毁，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 43,601評(píng)論 1贊 300
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡愤钾，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,066評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年瘟滨，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绰垂。...
茶點(diǎn)故事閱讀 38,161評(píng)論 1贊 334
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡室奏，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出劲装，到底是詐尸還是另有隱情胧沫，我是刑警寧澤，帶...
沈念sama閱讀 33,792評(píng)論 4贊 323
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布占业，位于F島的核電站绒怨，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏谦疾。R本人自食惡果不足惜南蹂，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,351評(píng)論 3贊 307
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望念恍。院中可真熱鬧六剥，春花似錦、人聲如沸峰伙。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 30,352評(píng)論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)瞳氓。三九已至策彤，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背店诗。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 31,584評(píng)論 1贊 261
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工裹刮，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人庞瘸。一個(gè)月前我還...
沈念sama閱讀 45,618評(píng)論 2贊 355
代替公主和親
正文我出身青樓捧弃，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親恕洲。傳聞我的和親對(duì)象是個(gè)殘疾皇子塔橡，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 42,916評(píng)論 2贊 344

求偏導(dǎo)的一般形式

分析中的一些知識(shí)

推薦閱讀更多精彩內(nèi)容