隨機(jī)初始化
將所有θ權(quán)重初始化為零不適用于神經(jīng)網(wǎng)絡(luò)羊异。?
初始化為零??
具體來說浇借，以上問題叫做對(duì)稱現(xiàn)象捉撮。所以，初始化也被稱作打破對(duì)稱妇垢。所以我們進(jìn)行初始化的操作目的就是打破對(duì)稱巾遭，而初始區(qū)間就是在特定范圍內(nèi)是一種我們用的標(biāo)記肉康。 所以，權(quán)值參數(shù) 將會(huì)在這個(gè)范圍內(nèi)生成灼舍。
當(dāng)我們反向傳播時(shí)迎罗，所有節(jié)點(diǎn)將重復(fù)更新為相同的值。 相反片仿，我們可以使用以下方法隨機(jī)初始化\ThetaΘ矩陣的權(quán)重：
隨機(jī)初始化，打破對(duì)稱
（注意：上面使用的epsilon與Gradient Checking中的epsilon無關(guān)）
