矩陣向量求導(dǎo)

本文整理自李建平機器學(xué)習(xí)中的矩陣向量求導(dǎo)系列和長軀鬼俠的矩陣求導(dǎo)術(shù)。

1. 符號說明

默認(rèn)符號：

$x$ ：標(biāo)量
$\mathbf{x}$ : $n$ 維列向量
$\mathbf{y}$ : $m$ 維列向量
$X$ ： $m \times n$ 矩陣
$Y$ ： $p \times q$ 矩陣

2. 矩陣向量求導(dǎo)布局

自變量\因變量	標(biāo)量 $y$	向量 $\mathbf{y}$	矩陣 $\mathbf{Y}$
標(biāo)量 $x$	/	$\frac{\partial \mathbf{y}}{\partial x}$ 分子布局：m維列向量（默認(rèn)）分母布局： $m$ 維行向量	$\frac{\partial \mathbf{Y}}{\partial x}$ 分子布局：p × q矩陣（默認(rèn)）分母布局： $q \times p$ 矩陣
向量 $\mathbf{x}$	$\frac{\partial y}{\partial \mathbf{x}}$ 分子布局： $n$ 維行向量分母布局：n 維列向量（默認(rèn)）	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 分子布局：m × n 雅克比矩陣（默認(rèn)）分母布局： $n \times m$ 梯度矩陣	/
矩陣 $\mathbf{X}$	$\frac{\partial y}{\partial \mathbf{X}}$ 分子布局： $n \times m$ 矩陣分母布局：m × n 矩陣（默認(rèn)）	/	$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$ 分母布局：mn × pq 矩陣

3. 矩陣向量求導(dǎo)大全

自變量\因變量	標(biāo)量 $y$	向量 $\mathbf{y}$	矩陣 $\mathbf{Y}$
標(biāo)量 $x$	$\frac{\partial y}{\partial x}$ 大學(xué)微積分知識	$\frac{\partial \mathbf{y}}{\partial x}$ 定義法求導(dǎo)	$\frac{\partial \mathbf{Y}}{\partial x}$ 定義法求導(dǎo)
向量 $\mathbf{x}$	$\frac{\partial y}{\partial \mathbf{x}}$ 1. 定義法求導(dǎo) 2. 基本法則：線性法則、乘法法則、除法法則 3. 矩陣微分： $df = tr\left( \left( \frac{\partial f}{\partial \mathbf{x}} \right)^{T} d\mathbf{x} \right )$ 4. 鏈?zhǔn)椒▌t： $\frac{\partial z}{\partial \mathbf{x}} = \left( \frac{\partial \mathbf{y}}{\partial \mathbf{x}}\right)^{T} \frac{\partial z}{\partial \mathbf{y}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 1. 定義法求導(dǎo) 2. 鏈?zhǔn)椒▌t： $\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}} \frac{\partial \mathbf{y}}{\partial \mathbf{x}}$	——
矩陣 $\mathbf{X}$	$\frac{\partial y}{\partial \mathbf{X}}$ 1. 定義法求導(dǎo) 2. 矩陣微分： $df = tr\left( \left( \frac{\partial f}{\partial \mathbf{X}} \right)^{T} d\mathbf{X} \right )$ 3. 矩陣微分性質(zhì) 4. 跡技巧 5. 鏈?zhǔn)角髮?dǎo)法則： $\frac{\partial z}{\partial x_{ij}} = \sum_{k,l} \frac{\partial z}{\partial \mathbf{Y}_{kl}} \frac{\partial \mathbf{Y}_{kl}}{\partial \mathbf{X}_{ij}} = tr \left( \left( \frac{\partial z}{\partial \mathbf{Y}} \right)^{T} \frac{\partial \mathbf{Y}}{\partial \mathbf{X}_{ij}} \right)$	——	$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$ 1. 定義： $\frac{\partial \mathbf{Y}}{\partial \mathbf{X}} = \frac{\partial vec \left(\mathbf{Y} \right)}{\partial vec \left(\mathbf{X} \right)}$ 2. 微分法： $vec(d \mathbf{Y}) = \frac{\partial \mathbf{Y}}{\partial \mathbf{X}}^{T}vec \left(d \mathbf{X} \right)$ 3. 運算法則

4. 標(biāo)量對向量求導(dǎo)

已知：
$y = f(\mathbf{x})$
求：
$\frac{\partial y}{\partial \mathbf{x}} = ?$

4.1 定義法求導(dǎo)

所謂標(biāo)量對向量的求導(dǎo)，其實就是標(biāo)量對向量里的每個分量分別求導(dǎo)会前，最后把求導(dǎo)的結(jié)果排列在一起，按一個向量表示而已。那么我們可以將實值函數(shù)對向量的每一個分量來求導(dǎo)止潘，最后找到規(guī)律，得到求導(dǎo)的結(jié)果向量居兆。

例1： $y = \mathbf{a}^{T} \mathbf{x}$
$\frac{\partial \mathbf{a}^{T} \mathbf{x}}{\partial x_{i}} = \frac{\partial \sum_{j=1}^{n}a_{j}x_{j}}{\partial x_{i}} = \frac{\partial a_{i}x_{i}}{\partial x_{i}} = a_{i}$
所以覆山，將求導(dǎo)結(jié)果組成向量：
$\frac{\partial \mathbf{a}^{T} \mathbf{x}}{\partial \mathbf{x}} = \mathbf{a}$

4.2 標(biāo)量對向量求導(dǎo)基本法則

1_標(biāo)量對向量求導(dǎo)基本法則.png

4.3 通過向量微分求導(dǎo)

利用導(dǎo)數(shù)和微分之間的關(guān)系：
$df = \sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}}dx_{i} = \left( \frac{\partial f}{\partial \mathbf{x}} \right)^{T}d\mathbf{x}$

例： $y = \mathbf{x}^{T} \mathbf{x}$
$\begin{eqnarray*} dy &=& d \left( \mathbf{x}^{T} \right)\mathbf{x} + \mathbf{x}^{T} d\mathbf{x} \\ &=& \left(d \mathbf{x}\right)^{T} \mathbf{x} + \mathbf{x}^{T} d\mathbf{x} \\ &=& \mathbf{x}^{T} d\mathbf{x} + \mathbf{x}^{T} d\mathbf{x} \\ &=& 2\mathbf{x}^{T} d\mathbf{x} \end{eqnarray*}$
所以，根據(jù)導(dǎo)數(shù)與微分的聯(lián)系：
$\frac{\partial \mathbf{x}^{T} \mathbf{x}}{\partial \mathbf{x}} = 2 \mathbf{x}$

4.4 標(biāo)量對多個向量的鏈?zhǔn)角髮?dǎo)法則

若標(biāo)量 $z$ 和向量 $\mathbf{x ,y}$ 之間的依賴關(guān)系為： $\mathbf{x} \rightarrow \mathbf{y} \rightarrow z$ 泥栖，則：
$\frac{\partial z}{\partial \mathbf{x}} = \left( \frac{\partial \mathbf{y}}{\partial \mathbf{x}} \right)^{T}\frac{\partial z}{\partial \mathbf{y}}$
推廣到多個向量的情況簇宽， $\mathbf{y}_{1} \rightarrow \mathbf{y}_{2} \rightarrow \cdots \mathbf{y}_{n} \rightarrow z$ ，則有：
$\frac{\partial z}{\partial \mathbf{y}_{1}} = \left( \frac{\partial \mathbf{y}_{n}}{\partial \mathbf{y}_{n-1}} \frac{\partial \mathbf{y}_{n-1}}{\partial \mathbf{y}_{n-2}} \cdots \frac{\partial \mathbf{y}_{2}}{\partial \mathbf{y}_{1}}\right)^{T}\frac{\partial z}{\partial \mathbf{y}_{n}}$

5. 標(biāo)量對矩陣求導(dǎo)

已知：
$y = f(X)$
求：
$\frac{\partial y} {\partial X} = ?$

5.1 定義法求導(dǎo)

與標(biāo)量對向量求導(dǎo)類似吧享，標(biāo)量對矩陣?yán)锏拿總€分量分別求導(dǎo)魏割，最后把求導(dǎo)的結(jié)果排列在一起，用一個矩陣表示而已钢颂。

例： $y = \mathbf{a}^{T}X\mathbf钞它$ ，求 $\frac{\partial y}{\partial X}$

先對矩陣 $X$ 的任意一個位置的 $X_{ij}$ 求導(dǎo)：
$\frac{\partial \mathbf{a}^{T}X\mathbf殊鞭}{\partial X_{ij}} = \frac{\partial \sum_{p=1}^{m}\sum_{q}^{n}a_{p}X_{pq}b_{q}}{\partial X_{ij}} = \frac{\partial a_{i}X_{ij}b_{j}}{\partial X_{ij}} = a_{i}b_{j}$
將所有位置求導(dǎo)結(jié)果排成 $m \times n$ 矩陣遭垛，得：
$\frac{\partial \mathbf{a}^{T}X\mathbf}{\partial X} = \mathbf{ab}^{T}$

5.2 通過矩陣微分求導(dǎo)

一元微積分中的導(dǎo)數(shù)（標(biāo)量對標(biāo)量的導(dǎo)數(shù)）與微分之間的關(guān)系：
$df=f^{\prime}(x)dx$
多元微積分中的梯度（標(biāo)量對向量的導(dǎo)數(shù)）與微分之間的關(guān)系：
$df=\sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}}dx_{i} = \frac{\partial f}{\partial \mathbf{x}}^{T}d\mathbf{x}$
矩陣導(dǎo)數(shù)與微分之間的關(guān)系：
$\color{#c63c26}{df=\sum_{i=1}^{m} \sum_{j=1}^{n} \frac{\partial f}{\partial X_{ij}}dX_{ij} = \text{tr}\left(\frac{\partial f}{\partial X}^{T}dX \right)}$
利用導(dǎo)數(shù)與微分操灿，以及跡技巧锯仪，可以求得標(biāo)量函數(shù) $f$ 對于矩陣 $X$ 的導(dǎo)數(shù)：

對標(biāo)量函數(shù) $f$ 求微分，需用到矩陣微分運算法則趾盐；
使用跡技巧庶喜，對 $df$ 套上跡，再將其它項移至 $dX$ 左側(cè)救鲤；
對照導(dǎo)數(shù)與微分之間的聯(lián)系久窟，可求得 $\frac{\partial f}{\partial X}$

注：標(biāo)量對矩陣的求導(dǎo)不能隨意沿用標(biāo)量的鏈?zhǔn)角髮?dǎo)法則。

5.3 矩陣微分運算法則

矩陣加減法	法則	示例
矩陣加減法	$d(X \pm Y) = dX \pm dY$
矩陣乘法	$d(XY) = (dX)Y + X(dY)$
矩陣轉(zhuǎn)置	$d(X^{T}) = (dX)^{T}$
矩陣的跡	$d\text{tr}(X) = \text{tr}(dX)$
矩陣的逆	$\color{#c63c26}{dX^{-1} = -X^{-1}dXX^{-1}}$
行列式	$d$ \| $X$ \| $= \text{tr}(X^{\#}dX)$	$X^{\#}$ 是 $X$ 的伴隨矩陣
逐元素相乘	$d(X \odot Y) = dX \odot Y + X \odot dY$
逐元素函數(shù)	$d \sigma(X) = \sigma^{\prime}(X) \odot dX$	$d\text{sin}(X) = \text{cos}(X) \odot dX$

5.4 跡技巧（trace trick）

運算	法則	備注
標(biāo)量套上跡	$a=\text{tr}(a)$
轉(zhuǎn)置	$\text{tr}(A^{T}) = \text{tr}(A)$
線性	$\text{tr}(A \pm B) = \text{tr}(A) \pm \text{B}$
矩陣乘法交換	$\text{tr}(AB) = \text{tr}(BA)$	$A$ 與 $B^{T}$ 維度相同本缠，兩側(cè)都等于 $\sum_{ij}A_{ij}B_{ji}$
矩陣乘法/逐元乘法交換	$\text{tr}(A^{T}(B \odot C)) = \text{tr}((A \odot B)^{T}C)$	$A,B,C$ 尺寸相同斥扛，兩側(cè)都等于 $\sum_{ij}A_{ij}B_{ij}C_{ij}$

5.5 標(biāo)量對多個矩陣的鏈?zhǔn)角髮?dǎo)法則

假設(shè)有這樣的依賴關(guān)系： $X \rightarrow Y \rightarrow z$ ，很難給出矩陣基于矩陣整體的鏈?zhǔn)角髮?dǎo)法則丹锹，可以給出關(guān)于 $X$ 中某一標(biāo)量的鏈?zhǔn)角髮?dǎo)：
$\frac{\partial z}{\partial X_{ij}} = \sum_{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}} = tr \left( \left( \frac{\partial z}{\partial \mathbf{Y}} \right)^{T} \frac{\partial \mathbf{Y}}{\partial \mathbf{X}_{ij}} \right)$

5.6 計算示例

例1： $f=\mathbf{a}^{T}X\mathbf稀颁$ 队他，求 $\frac{\partial f}{\partial X}$ 。其中 $\mathbf{a}$ 是 $m \times 1$ 列向量峻村， $X$ 是 $m \times n$ 矩陣麸折， $\mathbf$ 是 $n \times 1$ 列向量粘昨。

Step1: 使用矩陣乘法法則求微分：
$df = d\mathbf{a}^{T}X\mathbf垢啼 + \mathbf{a}^{T}dX\mathbf + \mathbf{a}^{T}Xd\mathbf张肾 = \mathbf{a}^{T}dX\mathbf芭析$
這里因為 $\mathbf{a}, \mathbf$ 是常量吞瞪，所以 $d\mathbf{a}=0,d\mathbf馁启=0$

Step2: 套上跡，并做矩陣乘法交換：
$df = \text{tr}(\mathbf{a}^{T}dX\mathbf芍秆) = \text{tr}(\mathbf惯疙\mathbf{a}^{T}dX) = \text{tr}\left((\mathbf{a}\mathbf^{T})^{T}dX \right)$

Step3：對照導(dǎo)數(shù)與微分之間的聯(lián)系：
$\frac{\partial f}{\partial X} = \mathbf{a}\mathbf妖啥^{T}$

例2： $f=\mathbf{a}^{T} \text{exp}(X \mathbf霉颠)$ ，求 $\frac{\partial f}{\partial X}$ 荆虱。

Step1: 使用矩陣乘法法則求微分：
$df = \mathbf{a}^{T} \left(\text{exp}(X \mathbf蒿偎) \odot (dX \mathbf) \right)$
Step2: 套上跡怀读，并做矩陣乘法交換：
$\begin{eqnarray*} df &=& \text{tr} \left( \mathbf{a}^{T} \left(\text{exp}(X \mathbf诉位) \odot (dX \mathbf) \right) \right) \\ &=& \text{tr} \left( \left( \mathbf{a} \odot \text{exp}(X \mathbf菜枷) \right)^{T} dX \mathbf苍糠 \right) \\ &=& \text{tr} \left( \mathbf \left( \mathbf{a} \odot \text{exp}(X \mathbf犁跪) \right)^{T} dX \right) \\ &=& \text{tr} \left( \left( \left( \mathbf{a} \odot \text{exp}(X \mathbf椿息) \right)\mathbf歹袁^{T} \right)^{T} dX \right) \end{eqnarray*}$
Step3：對照導(dǎo)數(shù)與微分之間的聯(lián)系：
$\frac{\partial f}{\partial X} = \left( \mathbf{a} \odot \text{exp}(X \mathbf坷衍) \right)\mathbf^{T}$

例3【線性回歸】 $l=\left\| X \mathbf{w - y} \right\|^{2}$ 条舔，求 $\mathbf{w}$ 的最小二乘估計枫耳。其中 $\mathbf{y}$ 是 $m \times 1$ 列向量， $X$ 是 $m \times n$ 矩陣孟抗， $\mathbf{w}$ 是 $n \times 1$ 列向量迁杨， $l$ 是標(biāo)量钻心。

Step1: 將向量模平方改成向量與內(nèi)積形式：
$l = \left( X \mathbf{w - y} \right)^{T}\left( X \mathbf{w - y} \right)$
Step1: 使用矩陣乘法法則求微分：
$\begin{eqnarray*} dl &=& \left( X d\mathbf{w} \right)^{T} \left( X \mathbf{w - y} \right) + \left( X \mathbf{w - y} \right)^{T} \left( X d\mathbf{w} \right) \\ &=& 2\left( X \mathbf{w - y} \right)^{T} \left( X d\mathbf{w} \right) \\ \\ &\because & X d\mathbf{w}\space X \mathbf{w - y} \space \text{are coloum vector} \\ &\therefore & \left( X d\mathbf{w} \right)^{T} \left( X \mathbf{w - y} \right) = \left( X \mathbf{w - y} \right)^{T} \left( X d\mathbf{w} \right) \end{eqnarray*}$
Step2: 套上跡，并做矩陣乘法交換：
$dl = \text{tr} \left( \left(2X^{T} \left(X \mathbf{w - y} \right)\right)^{T}d\mathbf{w} \right)$
Step3：對照導(dǎo)數(shù)與微分之間的聯(lián)系：
$\frac{\partial l}{\partial \mathbf{w}} = 2X^{T} \left(X \mathbf{w - y} \right)$
Step3：求 $\mathbf{w}$ 的最小二乘估計
$\frac{\partial l}{\partial \mathbf{w}} = 2X^{T} \left(X \mathbf{w - y} \right) = 0\\ \mathbf{w} = (X^{T}X)^{-1}X^{T}\mathbf{y}$

6. 向量對向量求導(dǎo)

向量對向量的求導(dǎo)比較麻煩铅协， $m$ 為列向量 $\mathbf{y}$ 對 $n$ 維列向量 $\mathbf{x}$ 求導(dǎo)捷沸，那么一共有 $mn$ 個標(biāo)量對標(biāo)量的求導(dǎo)。

分子布局（numerator layout）：

求導(dǎo)結(jié)果矩陣的第一個維度以分子為準(zhǔn)狐史，結(jié)果是一個 $m \times n$ 矩陣痒给，一般叫作雅克比矩陣。

分母布局（denominator layout）：

求導(dǎo)結(jié)果矩陣的第一個維度以分母為準(zhǔn)骏全，結(jié)果是一個 $n \times m$ 矩陣苍柏，一般叫作梯度矩陣。

對于機器學(xué)習(xí)算法原理中的推導(dǎo)姜贡，究竟是采用什么布局一般是隱含的试吁，需自己推導(dǎo)。本文以分子布局的雅克比矩陣為主楼咳。

6.1 定義法求導(dǎo)

例： $\mathbf{ y } = A \mathbf{ x }$ 熄捍，其中 $A$ 是 $n \times m$ 的矩陣， $\mathbf{x,y}$ 分別是 $m,n$ 維例向量母怜。

Step1: 先求 $\mathbf{y}$ 的第 $i$ 個分量對 $\mathbf{x}$ 的第 $j$ 個分量的導(dǎo)數(shù)：
$\frac{\partial A_{i} \mathbf{x}}{\partial \mathbf{x}_{j}} = \frac{\partial A_{ij} x_{j}}{\partial \mathbf{x}_{j}} = A_{ij}$
Step2: 將每個標(biāo)量求導(dǎo)結(jié)果排列成矩陣治唤，這里用分子布局：
$\frac{\partial A \mathbf{x}}{\partial \mathbf{x}_{j}} = A$

6.2 向量對向量求導(dǎo)的鏈?zhǔn)椒▌t

若向量之間有這樣的依賴關(guān)系： $\mathbf{x} \rightarrow \mathbf{y} \rightarrow \mathbf{z}$ ，則有下面的鏈?zhǔn)角髮?dǎo)法則：
$\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}} \frac{\partial \mathbf{y}}{\partial \mathbf{x}}$

7. 矩陣對矩陣求導(dǎo)

7.1 矩陣對矩陣求導(dǎo)定義

$\frac{\partial F}{\partial X}$ 糙申， $F:p\times q$ 宾添， $X:m \times n$ 矩陣 $F$ 中的 $pq$ 個元素要分別對矩陣 $X$ 中的 $mn$ 個元素求導(dǎo)，那么求導(dǎo)結(jié)果一共會有 $mnpq$ 個元素柜裸。求導(dǎo)結(jié)果的排列有很多種缕陕。這里只介紹目前主流的做法。

目前主流的矩陣對矩陣求導(dǎo)定義是對矩陣先做向量化疙挺，然后再使用向量對向量的求導(dǎo)扛邑。而這里的向量化一般是使用列向量化。也就是說铐然，現(xiàn)在我們的矩陣對矩陣求導(dǎo)可以表示為：
$\frac{\partial F}{\partial X} = \frac{\partial vec \left(F \right)}{\partial vec \left(X \right)}$
$vec(F)$ 的維度是 $pq \times 1$ 列向量蔬崩， $vec(X)$ 的維度是 $mn \times 1$ 列向量。結(jié)果使用分母布局搀暑，得到一個 $\color{#c63c26}{mn \times pq}$ 的矩陣沥阳。

7.2 微分求導(dǎo)法

利用導(dǎo)數(shù)與微分的聯(lián)系：
$vec(dF) = \frac{\partial F}{\partial X}^{T} vec(dX)$
求解步驟：

使用矩陣微分運算法則對矩陣 $F$ 求微分；
做向量化并使用跡技巧將其它項交換至 $vec(dX)$ 的左側(cè)自点；
根據(jù)導(dǎo)數(shù)與微分關(guān)系桐罕，得到矩陣對矩陣的微分結(jié)果。

7.3 矩陣向量化的運算法則

性質(zhì)	法則
線性性質(zhì)	$vec(A+B) = vec(A) + vec(B)$
矩陣乘法	$vec(AXB) = \left( B^{T} \otimes A \right)vec(X)$
矩陣轉(zhuǎn)置	$vec(A^{T}) = K_{mn}vce(A)$
逐元素乘法	$vec(A \odot X) = diag(A) vec(X)$

注：

$\otimes$ ：克羅內(nèi)克(Kronecker)積， $A(m \times n)$ 與 $B(p \times q)$ 的克羅內(nèi)克積是 $A \otimes B = [A_{ij}B](mp \times nq)$ ;

$K_{mn}$ ：交換矩陣功炮。若 $vec(A)$ 是 $mn \times1$ 的列向量溅潜，則 $K_{mn}(mn \times mn)$ ，將按列優(yōu)先的向量化變?yōu)榘葱袃?yōu)先的向量化薪伏；

$diag(A)(mn \times mn)$ 是用 $A$ 的元素（列優(yōu)先）排成的對角陣滚澜。