本文從CSDN上轉(zhuǎn)移過來：
http://blog.csdn.net/mounty_fsc/article/details/51699568
Filter類在Caffe中用來初始化權(quán)值大小，有如下表的類型：
| 類型 | 派生類 | 說明 |
|---|---|---|
| constant | ConstantFiller | 使用一個(gè)常數(shù)（默認(rèn)為0）初始化權(quán)值 |
| gaussian | GaussianFiller | 使用高斯分布初始化權(quán)值 |
| positive_unitball | PositiveUnitballFiller | |
| uniform | UniformFiller | 使用均為分布初始化權(quán)值 |
| xavier | XavierFiller | 使用xavier算法初始化權(quán)值 |
| msra | MSRAFiller | |
| bilinear | BilinearFiller |
1 xavier
使用分布 $ x \sim U(-\sqrt{3/n}, +\sqrt{3/n}) $ 初始化權(quán)值$ w $ 為唬滑「嫠簦總的來說$n$的值為輸入輸出規(guī)模相關(guān)，公式如下:
$$n=\left {
\begin{aligned}
& fan_in &default \
& \frac{fan_in + fan_out}{2} & variance_norm=AVERAGE \
& fan_out & variance_norm=FAN_OUT
\end{aligned}
\right.
$$
$$\left {
\begin{aligned}
& fan_in = blob.count / blob.num \
& fan_out = blob.count / blob.channels
\end{aligned}
\right.
$$
