學(xué)習(xí)非線性規(guī)律 深度神經(jīng)網(wǎng)絡(luò)
- 在傳統(tǒng)線性模型中漂坏，每一個模型有一些輸入x 特征 每個輸入都有權(quán)重w值，這些權(quán)重以線性方式組合到一起 產(chǎn)生輸出
如果我們想要獲得非線性規(guī)律末誓，我們可能需要向該模型再添加一個層
這樣士聪，你可以通過良好的線性組合蹋艺，將這些輸入添加到第二層。
第二層再以線性方式相結(jié)合善绎，但我們尚未實現(xiàn)任何非線性規(guī)律黔漂。 - 線性函數(shù)的組合，依然還是線性
因此 我們需要從其他方向著手涂邀，也就是說瘟仿，我們需要添加非線性函數(shù) - 這種常用的非線性函數(shù)可以位于任何小的隱藏式節(jié)點的輸出中，其中一種常用的非線性激活函數(shù)比勉，叫做ReLU
- 當(dāng)我們在訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)時劳较，很顯然，我們面臨的是非凸優(yōu)化問題浩聋，因此可能需要初始化（观蜗？？
- 我們訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)時所使用的方法叫做反向傳播衣洁，他是梯度下降算法的變形墓捻，通過反響傳播，我們能夠以高效合理的方式坊夫，對非凸優(yōu)化問題執(zhí)行梯度下降
神經(jīng)網(wǎng)絡(luò)處理非線性問題
image.png
-
藍(lán)色代表一個輸入特征砖第，綠色圓圈表示各個輸入的加權(quán)和（y）
目前還只是一個線性模型，要處理非線性問題环凿，可以增加表示中間值的隱藏層梧兼。輸入的是，藍(lán)色輸入節(jié)點值的加權(quán)和智听，輸出的是黃色節(jié)點的加權(quán)和羽杰。
image.png
但是到目前為止渡紫，模型還是線性的，只不過多加了幾層表示加權(quán)和的隱藏層考赛，隱藏層作為下一層的輸入惕澎。
-
要對非線性問題進(jìn)行建模，我們可以直接引入非線性函數(shù)颜骤，用非線性函數(shù)將每個隱藏節(jié)點像管道一樣連接起來
image.png
- 實際上唧喉，所有數(shù)學(xué)函數(shù)都可以作為激活函數(shù)，假設(shè)??表示我們的激活函數(shù)复哆，因此欣喧，網(wǎng)絡(luò)中節(jié)點的值由以下公式指定
??(w·x + b）
現(xiàn)在，我們的模型擁有了人們通常所說的“神經(jīng)網(wǎng)絡(luò)”的所有標(biāo)準(zhǔn)組件：
- 一組節(jié)點梯找，類似于神經(jīng)元唆阿，位于層中。
- 一組權(quán)重锈锤，表示每個神經(jīng)網(wǎng)絡(luò)層與其下方的層之間的關(guān)系驯鳖。下方的層可能是另一個神經(jīng)網(wǎng)絡(luò)層，也可能是其他類型的層久免。
- 一組偏差浅辙，每個節(jié)點一個偏差。
- 一個激活函數(shù)阎姥，對層中每個節(jié)點的輸出進(jìn)行轉(zhuǎn)換记舆。不同的層可能擁有不同的激活函數(shù)。
同一層的轉(zhuǎn)化函數(shù)相同呼巴？
