Sigmoid Function, 即雙彎曲函數(shù).
公式
sigmoid
取值范圍:
sigmoid
當(dāng)z=0時, sigmoid值是0.5;
當(dāng)z=4時, sigmoid值是0.982≈1;
當(dāng)z=-4時, sigmoid值是0.018≈0;
梯度
sigmoid梯度
即
關(guān)系
取值范圍:
sigmoid梯度
優(yōu)缺點:
- 神經(jīng)網(wǎng)絡(luò)中的激活函數(shù), 其作用就是引入非線性;
- 輸出范圍有限, 數(shù)據(jù)在傳遞的過程中不容易發(fā)散; 缺點是飽和的時候梯度太小;
- 輸出范圍為(0, 1), 所以可以用作輸出層, 輸出表示概率;
- 容易求導(dǎo), y'=y(1-y), 這樣很容易做bp(back propagation, 反向傳播).
關(guān)于Sigmoid算法, 非常全面的講解. That's all! Enjoy it!
