softmax:
image.png
tanh:
image.png
ReLu
{\displaystyle f(x)=x^{+}=\max(0,x)}
Softplus(x)=log(1+ex)
image.png
sigmoid:
image.png
maxout?
image.png
對于CNN來說诉探，并不是所有上下層神經(jīng)元都能直接相連，而是*通過“卷積核”作為中介
輸出值和真實值差距比較大携冤，對誤差進行反向傳播，更新權(quán)值闲勺，重新計算輸出
