softmax

softmax

公式

$a_{j}^{L}=\frac{e^{z_{j}^{L}}}{\sum_{k} e^{z_{k}^{L}}}$

? 其中持际， $a_{j}^{L}$ 表示第L層（通常是最后一層）第j個神經(jīng)元的輸入开镣， ${e^{z_{j}^{L}}}$ 表示第L層第j個神經(jīng)元的輸出， $e$ 表示自然常數(shù)荚藻。注意看呻右， ${\sum_{k} e^{z_{k}^{L}}}$ 表示了第L層所有神經(jīng)元的輸入之和。
? softmax函數(shù)最明顯的特點在于：它把每個神經(jīng)元的輸入占當(dāng)前層所有神經(jīng)元輸入之和的比值鞋喇，當(dāng)作該神經(jīng)元的輸出声滥。這樣把比較從絕對的大小變成了相對的大小，這使得輸出更容易被解釋：神經(jīng)元的輸出值越大落塑，則該神經(jīng)元對應(yīng)的類別是真實類別的可能性更高纽疟。
? 另外，softmax不僅把神經(jīng)元輸出構(gòu)造成概率分布憾赁，而且還起到了歸一化的作用污朽，適用于很多需要進行歸一化處理的分類問題。

softmax求導(dǎo)

?if $j=i:$

? $\begin{aligned} \frac{\partial a_{j}}{\partial z_{i}} &=\frac{\partial}{\partial z_{i}}\left(\frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}\right) \\ &=\frac{\left(e^{z_{j}}\right)^{\prime} \cdot \sum_{k} e^{z_{k}}-e^{z_{j}} \cdot e^{z_{j}}}{\left(\sum_{k} e^{z_{k}}\right)^{2}} \\ &=\frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}-\frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}} \cdot \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}} =a_{j}\left(1-a_{j}\right) \end{aligned}$

?if $j \neq i$

? $\begin{aligned} \frac{\partial a_{j}}{\partial z_{i}} &=\frac{\partial}{\partial z_{i}}\left(\frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}\right) \\ &=\frac{0 \cdot \sum_{k} e^{z_{k}}-e^{z_{j}} \cdot e^{z_{i}}}{\left(\sum_{k} e^{z_{k}}\right)^{2}} \\ &=-\frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}} \cdot \frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}} = -a_{j} a_{i} \end{aligned}$

代價函數(shù)

?二次代價函數(shù)在訓(xùn)練ANN時可能會導(dǎo)致訓(xùn)練速度變慢的問題龙考。那就是蟆肆，初始的輸出值離真實值越遠(yuǎn)，訓(xùn)練速度就越慢晦款。這個問題可以通過采用交叉熵代價函數(shù)來解決炎功。其實，這個問題也可以采用另外一種方法解決缓溅，那就是采用softmax激活函數(shù)蛇损，并采用log似然代價函數(shù)（log-likelihood cost function）來解決。

? $C=-\sum_{k} y_{k} \log a_{k}$

其中坛怪， $\log a_{k}$ 表示第k個神經(jīng)元的輸出值淤齐， $y_{k}$ 表示第k個神經(jīng)元對應(yīng)的真實值，取值為0或1袜匿。我們來簡單理解一下這個代價函數(shù)的含義更啄。在ANN中輸入一個樣本，那么只有一個神經(jīng)元對應(yīng)了該樣本的正確類別居灯；若這個神經(jīng)元輸出的概率值越高祭务，則按照以上的代價函數(shù)公式，其產(chǎn)生的代價就越心潞尽待牵；反之其屏，則產(chǎn)生的代價就越高喇勋。以b為例來偏導(dǎo)：

$\begin{aligned} \frac{\partial C}{\partial b_{j}} &=\frac{\partial C}{\partial z_{j}} \cdot \frac{\partial z_{j}}{\partial b_{j}} \\ &=\frac{\partial C}{\partial z_{j}} \cdot \frac{\partial\left(w_{j k} a_{k}+b_{j}\right)}{\partial b_{j}} \\ &=\frac{\partial}{\partial z_{j}}\left(-\sum_{k} y_{k} \log a_{k}\right) \\ &=-\sum_{k} y_{k} \frac{1}{a_{k}} \cdot \frac{\partial a_{k}}{\partial z_{j}} \end{aligned}$

(use softmax derivative)
$=-y_{j} \frac{1}{a_{j}} \cdot \frac{\partial a_{j}}{\partial z_{j}}-\sum_{k \neq j} y_{k} \frac{1}{a_{k}} \cdot \frac{\partial a_{k}}{\partial z_{j}}$