3.1 概論
-
邏輯回歸
中間層的隱藏單元中的計(jì)算
- 首先你需要輸入特征 x寇甸，參數(shù)W 和b 闹蒜，通過 z = w^t * x + b T 你就可以計(jì)算
出 z 艺玲，接下來使用 a = a(z) 就可以計(jì)算出a彤钟。我們將a的符號換為表示輸出的 y?羞秤，然后可以計(jì)算出損失函數(shù)?(a,y)缸托。
-
基本神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 首先 X 表示輸入特征，W 和 b 是參數(shù)瘾蛋，z1 = Wx + b1計(jì)算出 z1俐镐。
- 使用x^(i)表示第 i 個(gè)訓(xùn)練樣本，上標(biāo)方括號 1哺哼、2 表示不同的層佩抹，圖中[1]表示神經(jīng)網(wǎng)絡(luò)的第一層叼风， [2]表示神經(jīng)網(wǎng)絡(luò)的第二層 。
- 類似邏輯回歸匹摇，在計(jì)算z^[1] 后需要使用σ(z^[1])計(jì)算 a^[1]咬扇，接下來你需要使用另外一個(gè)線
z^[2] = W^[2] * a^[1] + b^[2]計(jì)算 z^[2], a^[2] = σ(z^[2]) 計(jì)算a^[2] ，此時(shí)a^[2] 就是整個(gè)神經(jīng)網(wǎng)絡(luò)最終的輸出廊勃，用 ??表示網(wǎng)絡(luò)的輸出懈贺。
- 反向計(jì)算
3.2 神經(jīng)網(wǎng)絡(luò)表示
- 神經(jīng)網(wǎng)絡(luò)的符號慣例：
x 表示輸入特征
a 表示每個(gè)神經(jīng)元的輸出， w 表示特征的權(quán)重坡垫，
上標(biāo)表示神經(jīng)網(wǎng)絡(luò)的層數(shù)（隱藏層為 1）梭灿，下標(biāo)表示該層的第幾個(gè)神經(jīng)元。 - 結(jié)構(gòu)
- 輸入層
- 隱藏層（很好解釋了之前在第一章的疑惑）：在一個(gè)神經(jīng)網(wǎng)絡(luò)中冰悠，當(dāng)你使用監(jiān)督學(xué)習(xí)訓(xùn)練它的時(shí)候堡妒，訓(xùn)練集包含了輸入 也包含了目標(biāo)輸出 ，所以術(shù)語隱藏層的含義是在訓(xùn)練集中溉卓，這些中間結(jié)點(diǎn)的準(zhǔn)確值我們是不知道到的皮迟，也就是說你看不見它們在訓(xùn)練集中應(yīng)具有的值。你能看見輸入的值桑寨，你也能看見輸出的值伏尼，但是隱藏層中的東西，在訓(xùn)練集中你是無法看到的尉尾。所以這也解釋了詞語隱藏層爆阶，只是表示你無法在訓(xùn)練集中看到他們。
- 簡單點(diǎn)說沙咏，隱藏層就是把中間處理的過程隱藏起來而沒有顯性顯示出來辨图。
- 輸出層
- 數(shù)據(jù)表示
- 隱藏層以及最后的輸出層是帶有參數(shù)的，參數(shù)個(gè)數(shù)與隱藏層單元/節(jié)點(diǎn)有關(guān)
- 傳統(tǒng)上（兩層的神經(jīng)網(wǎng)絡(luò)）：輸入層是不算入總層數(shù)內(nèi)肢藐，所以隱藏層是第一層故河，輸出層是第二層。
- 技術(shù)上（三層的神經(jīng)網(wǎng)絡(luò)）：因?yàn)檫@里有輸入層窖壕、隱藏層忧勿，還有輸出層。
3.3 神經(jīng)網(wǎng)絡(luò)的輸出
中間的求導(dǎo)過程
四個(gè)方程求神經(jīng)網(wǎng)絡(luò)
- 注：z代表隱藏層瞻讽，這里有兩個(gè)隱藏層
3.4 多樣本向量化
- 多個(gè)訓(xùn)練樣本鸳吸，則重復(fù)計(jì)算每個(gè)樣本的4個(gè)方程（for循環(huán)）
-
利用向量化簡化該過程
- 水平方向，這個(gè)垂直索引對應(yīng)于神經(jīng)網(wǎng)絡(luò)中的不同的訓(xùn)練樣本速勇。
- 垂直方向晌砾，這個(gè)垂直索引對應(yīng)于神經(jīng)網(wǎng)絡(luò)中的不同節(jié)點(diǎn)。
