深度學習常見激勵函數(shù)總結
優(yōu)點：簡單,良好的非線性映射,但是也有致命的問題,就是梯度消失.所以現(xiàn)代的神經(jīng)網(wǎng)絡架構很少用他了枉侧。
tf.nn.softmax(logits, dim=-1, name=None) 作用：計算softmax 激活值 參數(shù): logits: 非空的tensor砰琢，類型必須為half, float32, float64. dim: softmax作用的維度廊散，默認是-1，表示最后一個維度 name: 【可選】這個操作的名字 返回值: 返回一個tensor践叠，和logits有相同的類型和形狀
- tanh
20170510143539313.png
ReLU
修正線性單元：
20170510143729520.png線性修正單元應當是現(xiàn)在用的最廣的激活函數(shù)了。
修正線性單元(Rectified linear unit) 。
tf.nn.relu(features, name=None) 作用： 計算修正線性單元(非常常用)：max(features, 0).并且返回和feature一樣的形狀的tensor嗡贺。 參數(shù)： features: tensor類型业舍，必須是這些類型：A Tensor. float32, float64, int32, int64, uint8, int16, int8, uint16, half. name: ：操作名稱（可選）
LReLU抖拦，PReLU，RReLU
這三個都是對于ReLU的改進,三個的函數(shù)的寫法可以近似的認為是一樣的.細節(jié)上有一些差別
ELU
Exponential Linear Units的縮寫,函數(shù)形式為 ：
20170510144010898.png
- softplus
20170510151302459.png
- over
