2023-09-16 01 梯度

來源：深度學(xué)習(xí)——損失函數(shù)與梯度推導(dǎo)_ftmax 損失函數(shù)以及梯度推導(dǎo)計算_隔壁的NLP小哥的博客-CSDN博客

1. 均方誤差的梯度

均方誤差是一種常見的損失函數(shù)溃卡，一般在回歸問題中比較常見赏表，其基本公式為:

$J =MSE=\frac{1}{C} \sum_{i=1}^L (y_{ri}-y_i)^2$

其中氮墨，C是一個超參數(shù)，為了便于求導(dǎo)算利，一般情況下取C=2。 $y_{ri}$ 是真實的標(biāo)簽值的第i個屬性值泳姐， $y_i$ 表示預(yù)測值的第i個屬性值效拭。

則有：

$\frac{?J }{?y_{i}} = \frac{?\frac{1}{C}\sum_{i=1}^L (y_{ri}-y_i)^2}{?y_{i}} =\frac{2}{C}(y_{ri}-y_i)*(-1) = \frac{2}{C}(y_i-y_{ri})$

整理成向量的形式有：

$\frac{?J}{?y}=\frac{2}{C}*\begin{matrix}y_1-y_{r1}\\y_2-y_{r2}\\......\\y_L-y_{rL}\\\end{matrix}$

2. sotfmax + 交叉熵

sotfmax和交叉熵通常被用于分類任務(wù)中，其中，softmax的定義為：

其中缎患，softmax的定義為： $y_i = \frac{e^{o_i}}{∑_{j=1}^Le^{o_j}}$

其中借笙， $o_i$ 表示輸出單元輸出的第i個屬性值，一般情況下较锡， $y_i$ 表示屬于第i類的概率业稼。

交叉熵的損失函數(shù)定義為：

$J = - ∑_{i=1}^Ly_{ri}ln(y_i)$

其中 $y_{ri}$ 表示真實的第i類的概率值。

一般情況下蚂蕴，softmax產(chǎn)生的是一個L維的概率分布Y低散。

而真實向量 $Y_r$ 是一個0,1向量，1表示對應(yīng)的分類骡楼。0表示不是該分類熔号。

3. 梯度計算

現(xiàn)在，我們假設(shè)在真實的分類向量 $Y_r$ 中鸟整，對應(yīng)的是第s個分類引镊。

$y_s = 1$ , 則有 $y_{i≠s}=0$

我們分成兩種情況：

1)? 當(dāng)i=s的時候，有：

$J = - y_{rs}ln(y_s)$

$y_s = \frac{e^{o_s}}{∑_{j=1}^Le^{o_j}}$

則有： $\frac{?J}{?o_s}=\frac{?J}{?y_s}*\frac{?y_s}{?o_s}=\frac{?( - y_{rs}ln(y_s))}{?y_s}*\frac{?\frac{e^{o_s}}{∑_{j=1}^Le^{o_j}}}{?o_s}$

根據(jù)? $J$ 和? $y_s$ ?和進一步化簡有： $\frac{?( - y_{rs}ln(y_s))}{?y_s}=-y_{rs}*\frac{1}{y_s}$

有： $\frac{?\frac{e^{o_s}}{∑_{j=1}^Le^{o_j}}}{?o_s}=\frac{e^{o_s}*(∑_{j=1}^Le^{o_j}-e^{o_s})}{(∑_{j=1}^Le^{o_j})^2}$

將上式帶入到原始的式子中篮条，有:

$\frac{?J}{?o_s}=-y_{rs}*\frac{∑_{j=1}^Le^{o_j}}{e^{o_s}}*\frac{e^{o_s}*(∑_{j=1}^Le^{o_j}-e^{o_s})}{(∑_{j=1}^Le^{o_j})^2}=-y_{rs}*(1-y_s)$

2) 當(dāng)i≠s的時候弟头，有:

$J = - y_{rs}ln(y_s)$

$y_s = \frac{e^{o_s}}{∑_{j=1}^Le^{o_j}}$

$\frac{?J}{?o_i}=\frac{?J}{?y_s}*\frac{?y_s}{?o_i}=-y_{rs}*\frac{1}{y_s}*\frac{?y_s}{?o_i}$

其中： $\frac{?y_s}{?o_i}=\frac{-e^{o_s}*e^{o_i}}{(∑_{j=1}^Le^{o_j})^2}$

帶入到原式子之后： $\frac{?J}{?o_i}=-y_{rs}*\frac{∑_{j=1}^Le^{o_j}}{e^{o_s}}*\frac{-e^{o_s}*e^{o_i}}{(∑_{j=1}^Le^{o_j})^2}=y_{rs}*y_i$

3) 最后，根據(jù) $y_{rs}=1$ 涉茧， $y_{ri}=0$

我們能夠發(fā)現(xiàn),上面兩種情況的計算結(jié)果可以化簡為：

當(dāng)i=s的時候赴恨，導(dǎo)數(shù)為 $y_s - y_{rs}$

當(dāng)i≠s的時候，導(dǎo)數(shù)為 $y_i-y_{ri}$

由此可以總結(jié)出： $\frac{?J}{?o_i}=y_{i} - y_{ri}$

最后編輯于：2023.09.16 14:57:58

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者