Docs ?
Layers ?
高級激活層 Advanced Activations
LeakyReLU
keras.layers.LeakyReLU(alpha=0.3)
帶泄漏的 ReLU。
當(dāng)神經(jīng)元未激活時寿羞，它仍允許賦予一個很小的梯度： f(x) = alpha * x for x < 0, f(x) = x for x >= 0.
輸入尺寸
可以是任意的猖凛。如果將該層作為模型的第一層， 則需要指定 input_shape 參數(shù) （整數(shù)元組绪穆，不包含樣本數(shù)量的維度）辨泳。
輸出尺寸
與輸入相同。
參數(shù)
- alpha: float >= 0玖院。負(fù)斜率系數(shù)菠红。
參考文獻(xiàn)
PReLU
keras.layers.PReLU(alpha_initializer='zeros', alpha_regularizer=None, alpha_constraint=None, shared_axes=None)
參數(shù)化的 ReLU。
形式： f(x) = alpha * x for x < 0, f(x) = x for x >= 0, 其中 alpha 是一個可學(xué)習(xí)的數(shù)組难菌，尺寸與 x 相同试溯。
輸入尺寸
可以是任意的。如果將這一層作為模型的第一層郊酒， 則需要指定 input_shape 參數(shù) （整數(shù)元組遇绞，不包含樣本數(shù)量的維度）键袱。
輸出尺寸
與輸入相同。
參數(shù)
- alpha_initializer: 權(quán)重的初始化函數(shù)摹闽。
- alpha_regularizer: 權(quán)重的正則化方法蹄咖。
- alpha_constraint: 權(quán)重的約束。
-
shared_axes: 激活函數(shù)共享可學(xué)習(xí)參數(shù)的軸付鹿。 例如澜汤，如果輸入特征圖來自輸出形狀為
(batch, height, width, channels)的 2D 卷積層，而且你希望跨空間共享參數(shù)倘屹，以便每個濾波器只有一組參數(shù)银亲， 可設(shè)置shared_axes=[1, 2]。
參考文獻(xiàn)
ELU
keras.layers.ELU(alpha=1.0)
指數(shù)線性單元纽匙。
形式： f(x) = alpha * (exp(x) - 1.) for x < 0, f(x) = x for x >= 0.
輸入尺寸
可以是任意的务蝠。如果將這一層作為模型的第一層， 則需要指定 input_shape 參數(shù) （整數(shù)元組烛缔，不包含樣本數(shù)量的維度）馏段。
輸出尺寸
與輸入相同。
參數(shù)
- alpha: 負(fù)因子的尺度践瓷。
參考文獻(xiàn)
ThresholdedReLU
keras.layers.ThresholdedReLU(theta=1.0)
帶閾值的修正線性單元院喜。
形式： f(x) = x for x > theta, f(x) = 0 otherwise.
輸入尺寸
可以是任意的。如果將這一層作為模型的第一層晕翠， 則需要指定 input_shape 參數(shù) （整數(shù)元組喷舀，不包含樣本數(shù)量的維度）。
輸出尺寸
與輸入相同淋肾。
參數(shù)
- theta: float >= 0硫麻。激活的閾值位。
參考文獻(xiàn)
Softmax
keras.layers.Softmax(axis=-1)
Softmax 激活函數(shù)樊卓。
輸入尺寸
可以是任意的拿愧。如果將這一層作為模型的第一層， 則需要指定 input_shape 參數(shù) （整數(shù)元組碌尔，不包含樣本數(shù)量的維度）浇辜。
輸出尺寸
與輸入相同。
參數(shù)
- axis: 整數(shù)唾戚，應(yīng)用 softmax 標(biāo)準(zhǔn)化的軸柳洋。
ReLU
keras.layers.ReLU(max_value=None, negative_slope=0.0, threshold=0.0)
ReLU 激活函數(shù)。
使用默認(rèn)值時叹坦，它返回逐個元素的 max(x膳灶，0)。
否則：
- 如果
x >= max_value，返回f(x) = max_value轧钓， - 如果
threshold <= x < max_value序厉，返回f(x) = x, - 否則，返回
f(x) = negative_slope * (x - threshold)毕箍。
輸入尺寸
可以是任意的弛房。如果將這一層作為模型的第一層， 則需要指定 input_shape 參數(shù) （整數(shù)元組而柑，不包含樣本數(shù)量的維度）文捶。
輸出尺寸
與輸入相同。
參數(shù)
- max_value: 浮點(diǎn)數(shù)媒咳，最大的輸出值粹排。
- negative_slope: float >= 0. 負(fù)斜率系數(shù)。
- threshold: float涩澡。"thresholded activation" 的閾值顽耳。
