參考鏈接：飽和和非飽和激活函數(shù)
右飽和：
當(dāng) x 趨向于正無(wú)窮大時(shí)，導(dǎo)數(shù)值趨近于 0
左飽和：
當(dāng) x 趨向于負(fù)無(wú)窮大鬼吵，導(dǎo)數(shù)值趨近于 0
飽和激活函數(shù)：當(dāng)滿足右飽和和左飽和時(shí)扣甲，稱(chēng)作飽和激活函數(shù)，分別有 Sigmoid 和 tanh?
非飽和激活函數(shù)：只滿足右飽和或左飽和中的一個(gè)齿椅，或都不滿足琉挖，則稱(chēng)作非飽和激活函數(shù)，有 ReLU 及其他的變種
非飽和激活函數(shù)的優(yōu)點(diǎn)：
1涣脚、解決梯度消失的問(wèn)題示辈，以 ReLU 為例，當(dāng) x 小于等于 0 時(shí)遣蚀，ReLU 的梯度為 0矾麻，但是當(dāng) x 大于 0 時(shí)，ReLU 的梯度恒為 1芭梯，這樣即使是 N 層的梯度相乘险耀，也還是 1，即不會(huì)產(chǎn)生梯度消失問(wèn)題
2玖喘、加快收斂速度甩牺，同樣以 ReLU 為例，由于在訓(xùn)練的過(guò)程中 ReLU 產(chǎn)生的梯度不會(huì)越來(lái)越小累奈，因此有利于網(wǎng)絡(luò)更快地收斂
