【深度學(xué)習(xí)】嘿馬深度學(xué)習(xí)筆記第6篇：神經(jīng)網(wǎng)絡(luò)與tf.keras,學(xué)習(xí)目標(biāo)【附代碼文檔】

本教程的知識點為：深度學(xué)習(xí)介紹 1.1 深度學(xué)習(xí)與機器學(xué)習(xí)的區(qū)別 TensorFlow介紹 2.4 張量 2.4.1 張量(Tensor) 2.4.1.1 張量的類型 TensorFlow介紹 1.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 1.2.1 Logistic回歸 1.2.1.1 Logistic回歸 TensorFlow介紹總結(jié) 每日作業(yè) 神經(jīng)網(wǎng)絡(luò)與tf.keras 1.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)與tf.keras 1.3 Tensorflow實現(xiàn)神經(jīng)網(wǎng)絡(luò) 1.3.1 TensorFlow keras介紹 1.3.2 案例：實現(xiàn)多層神經(jīng)網(wǎng)絡(luò)進行時裝分類神經(jīng)網(wǎng)絡(luò)與tf.keras 1.4 深層神經(jīng)網(wǎng)絡(luò) 為什么使用深層網(wǎng)絡(luò) 1.4.1 深層神經(jīng)網(wǎng)絡(luò)表示卷積神經(jīng)網(wǎng)絡(luò) 3.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理為什么需要卷積神經(jīng)網(wǎng)絡(luò) 原因之一：圖像特征數(shù)量對神經(jīng)網(wǎng)絡(luò)效果壓力卷積神經(jīng)網(wǎng)絡(luò) 3.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理為什么需要卷積神經(jīng)網(wǎng)絡(luò) 原因之一：圖像特征數(shù)量對神經(jīng)網(wǎng)絡(luò)效果壓力卷積神經(jīng)網(wǎng)絡(luò) 2.2案例：CIFAR100類別分類 2.2.1 CIFAR100數(shù)據(jù)集介紹 2.2.2 API 使用卷積神經(jīng)網(wǎng)絡(luò) 2.4 BN與神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 2.4.1 神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 2.4.1.1 調(diào)參技巧卷積神經(jīng)網(wǎng)絡(luò) 2.4 經(jīng)典分類網(wǎng)絡(luò)結(jié)構(gòu) 2.4.1 LeNet-5解析 2.4.1.1 網(wǎng)絡(luò)結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò) 2.5 CNN網(wǎng)絡(luò)實戰(zhàn)技巧 2.5.1 遷移學(xué)習(xí)(Transfer Learning) 2.5.1.1 介紹卷積神經(jīng)網(wǎng)絡(luò) 總結(jié) 每日作業(yè) 商品物體檢測項目介紹 1.1 項目演示商品物體檢測項目介紹 3.4 Fast R-CNN 3.4.1 Fast R-CNN 3.4.1.1 RoI pooling YOLO與SSD 4.3 案例：SSD進行物體檢測 4.3.1 案例效果 4.3.2 案例需求商品檢測數(shù)據(jù)集訓(xùn)練 5.2 標(biāo)注數(shù)據(jù)讀取與存儲 5.2.1 案例：xml讀取本地文件存儲到pkl 5.2.1.1 解析結(jié)構(gòu)

完整筆記資料代碼：https://gitee.com/yinuo112/AI/tree/master/深度學(xué)習(xí)/嘿馬深度學(xué)習(xí)筆記/note.md

感興趣的小伙伴可以自取哦~

全套教程部分目錄：

部分文件圖片：

神經(jīng)網(wǎng)絡(luò)與tf.keras

1.4 深層神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)目標(biāo)

目標(biāo)
- 了解深層網(wǎng)絡(luò)的前向傳播與反向傳播的過程
應(yīng)用
- 無

為什么使用深層網(wǎng)絡(luò)

對于人臉識別等應(yīng)用，神經(jīng)網(wǎng)絡(luò)的第一層從原始圖片中提取人臉的輪廓和邊緣柱蟀，每個神經(jīng)元學(xué)習(xí)到不同邊緣的信息伊约；網(wǎng)絡(luò)的第二層將第一層學(xué)得的邊緣信息組合起來洪己，形成人臉的一些局部的特征，例如眼睛又厉、嘴巴等昂秃；后面的幾層逐步將上一層的特征組合起來，形成人臉的模樣承璃。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加利耍，特征也從原來的邊緣逐步擴展為人臉的整體，由整體到局部盔粹，由簡單到復(fù)雜隘梨。層數(shù)越多，那么模型學(xué)習(xí)的效果也就越精確玻佩。

通過例子可以看到出嘹，隨著神經(jīng)網(wǎng)絡(luò)的深度加深，模型能學(xué)習(xí)到更加復(fù)雜的問題咬崔，功能也更加強大税稼。

1.4.1 深層神經(jīng)網(wǎng)絡(luò)表示

1.4.1.1 什么是深層網(wǎng)絡(luò)烦秩？

使用淺層網(wǎng)絡(luò)的時候很多分類等問題得不到很好的解決，所以需要深層的網(wǎng)絡(luò)郎仆。

1.4.2 四層網(wǎng)絡(luò)的前向傳播與反向傳播

在這里首先對每層的符號進行一個確定只祠，我們設(shè)置L為第幾層，n為每一層的個數(shù)扰肌，L=[L1,L2,L3,L4],n=[5,5,3,1]

1.4.2.1 前向傳播

首先還是以單個樣本來進行表示,每層經(jīng)過線性計算和激活函數(shù)兩步計算

<math><semantics><mrow><msup><mi>z</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mi>x</mi><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo separator="true">,</mo><msup><mi>a</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>g</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>(</mo><msup><mi>z</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">z^{[1]} = W^{[1]}x+b{[1]}, a^{[1]}=g{[1]}(z^{[1]})</annotation></semantics></math>z[1]=W[1]x+b[1],a[1]=g[1](z[1]), 輸入<math><semantics><mrow><mi>x</mi></mrow><annotation encoding="application/x-tex">x</annotation></semantics></math>x, 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[1]}</annotation></semantics></math>a[1]

<math><semantics><mrow><msup><mi>z</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><msup><mi>a</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo separator="true">,</mo><msup><mi>a</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>g</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo>(</mo><msup><mi>z</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">z^{[2]} = W^{[2]}a{[1]}+b^{[2]}, a^{[2]}=g{[2]}(z^{[2]})</annotation></semantics></math>z[2]=W[2]a[1]+b[2],a[2]=g[2](z[2]),輸入<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[1]}</annotation></semantics></math>a[1], 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[2]}</annotation></semantics></math>a[2]

<math><semantics><mrow><msup><mi>z</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><msup><mi>a</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo separator="true">,</mo><msup><mi>a</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>g</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo>(</mo><msup><mi>z</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">z^{[3]} = W^{[3]}a{[2]}+b^{[3]},a{[3]}=g^{[3]}(z{[3]})</annotation></semantics></math>z[3]=W[3]a[2]+b[3],a[3]=g[3](z[3]), 輸入<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>2</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[2]}</annotation></semantics></math>a[2], 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[3]}</annotation></semantics></math>a[3]

<math><semantics><mrow><msup><mi>z</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup><msup><mi>a</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup><mo separator="true">,</mo><msup><mi>a</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup><mo>=</mo><mi>σ</mi><mo>(</mo><msup><mi>z</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">z^{[4]} = W^{[4]}a{[3]}+b^{[4]},a{[4]}=\sigma(z^{[4]})</annotation></semantics></math>z[4]=W[4]a[3]+b[4],a[4]=σ(z[4]), 輸入<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>3</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[3]}</annotation></semantics></math>a[3], 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mn>4</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[4]}</annotation></semantics></math>a[4]

我們將上式簡單的用通用公式表達出來抛寝，<math><semantics><mrow><mi>x</mi><mo>=</mo><msup><mi>a</mi><mrow><mo>[</mo><mn>0</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">x = a^{[0]}</annotation></semantics></math>x=a[0]

<math><semantics><mrow><msup><mi>z</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo separator="true">,</mo><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>g</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>(</mo><msup><mi>z</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">z^{[L]} = W^{[L]}a{[L-1]}+b^{[L]}, a^{[L]}=g{[L]}(z^{[L]})</annotation></semantics></math>z[L]=W[L]a[L?1]+b[L],a[L]=g[L](z[L]), 輸入<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[L-1]}</annotation></semantics></math>a[L?1], 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[L]}</annotation></semantics></math>a[L]

m個樣本的向量表示

<math><semantics><mrow><msup><mi>Z</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><msup><mi>A</mi><mrow><mo>[</mo><mi>L</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>+</mo><msup><mi>b</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">Z^{[L]} = W^{[L]}A{[L-1]}+b^{[L]}</annotation></semantics></math>Z[L]=W[L]A[L?1]+b[L]

<math><semantics><mrow><msup><mi>A</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>g</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>(</mo><msup><mi>Z</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">A^{[L]}=g{[L]}(Z^{[L]})</annotation></semantics></math>A[L]=g[L](Z[L])

輸入<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[L-1]}</annotation></semantics></math>a[L?1], 輸出<math><semantics><mrow><msup><mi>a</mi><mrow><mo>[</mo><mi>L</mi><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">a^{[L]}</annotation></semantics></math>a[L]

1.4.2.2 反向傳播

因為涉及到的層數(shù)較多，所以我們通過一個圖來表示反向的過程

反向傳播的結(jié)果（理解）

單個樣本的反向傳播：

<math><semantics><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>=</mo><mfrac><mrow><mi>d</mi><mi>J</mi></mrow><mrow><mi>d</mi><msup><mi>a</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mfrac><mrow><mi>d</mi><msup><mi>a</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mo>=</mo><mi>d</mi><msup><mi>a</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>?</mo><msup><mi>g</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mrow><msup><mrow></mrow><mrow><mi mathvariant="normal">′</mi></mrow></msup></mrow><mo>(</mo><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>)</mo></mrow><annotation encoding="application/x-tex">dZ^{{[l]}=\frac{dJ}{da}{[l]}}\frac{da^{[l]}}{dZ{[l]}}=da^{[l]}*g{[l]}{'}(Z^{[l]})</annotation></semantics></math>dZ[l]=da[l]dJdZ[l]da[l]=da[l]?g[l]′(Z[l])

<math><semantics><mrow><mi>d</mi><msup><mi>W</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>=</mo><mfrac><mrow><mi>d</mi><mi>J</mi></mrow><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mfrac><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow><mrow><mi>d</mi><msup><mi>W</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mo>=</mo><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>?</mo><msup><mi>a</mi><mrow><mo>[</mo><mi>l</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">dW^{{[l]}=\frac{dJ}{dZ}{[l]}}\frac{dZ^{[l]}}{dW{[l]}}=dZ^{[l]}\cdot a^{[l-1]}</annotation></semantics></math>dW[l]=dZ[l]dJdW[l]dZ[l]=dZ[l]?a[l?1]

<math><semantics><mrow><mi>d</mi><msup><mi>b</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>=</mo><mfrac><mrow><mi>d</mi><mi>J</mi></mrow><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mfrac><mrow><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow><mrow><mi>d</mi><msup><mi>b</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow></mfrac><mo>=</mo><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">db^{{[l]}=\frac{dJ}{dZ}{[l]}}\frac{dZ^{[l]}}{db{[l]}}=dZ^{[l]}</annotation></semantics></math>db[l]=dZ[l]dJdb[l]dZ[l]=dZ[l]

<math><semantics><mrow><mi>d</mi><msup><mi>a</mi><mrow><mo>[</mo><mi>l</mi><mo>?</mo><mn>1</mn><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo><mi>T</mi></mrow></msup><mo>?</mo><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">da^{[l-1]}=W{[l]T}\cdot dZ^{[l]}</annotation></semantics></math>da[l?1]=W[l]T?dZ[l]

多個樣本的反向傳播

<math><semantics><mrow><mi>d</mi><msup><mi>A</mi><mrow><mo>[</mo><mi>l</mi><mo>]</mo></mrow></msup><mo>=</mo><msup><mi>W</mi><mrow><mo>[</mo><mi>l</mi><mo>+</mo><mn>1</mn><mo>]</mo><mi>T</mi></mrow></msup><mo>?</mo><mi>d</mi><msup><mi>Z</mi><mrow><mo>[</mo><mi>l</mi><mo>+</mo><mn>1</mn><mo>]</mo></mrow></msup></mrow><annotation encoding="application/x-tex">dA^{[l]}=W{[l+1]T}\cdot dZ^{[l+1]}</annotation></semantics></math>dA[l]=W[l+1]T?dZ[l+1]

1.4.3 參數(shù)與超參數(shù)

1.4.3.1 參數(shù)

參數(shù)即是我們在過程中想要模型學(xué)習(xí)到的信息（模型自己能計算出來的）曙旭，例如 W[l]W[l]盗舰，b[l]b[l]。而超參數(shù)（hyper parameters）即為控制參數(shù)的輸出值的一些網(wǎng)絡(luò)信息（需要人經(jīng)驗判斷）桂躏。超參數(shù)的改變會導(dǎo)致最終得到的參數(shù) W[l]钻趋，b[l] 的改變。

1.4.3.2 超參數(shù)

典型的超參數(shù)有：

學(xué)習(xí)速率：α
迭代次數(shù)：N
隱藏層的層數(shù)：L
每一層的神經(jīng)元個數(shù)：n[1]剂习，n[2]蛮位，...
激活函數(shù) g(z) 的選擇

當(dāng)開發(fā)新應(yīng)用時，預(yù)先很難準(zhǔn)確知道超參數(shù)的最優(yōu)值應(yīng)該是什么鳞绕。因此失仁，通常需要嘗試很多不同的值。應(yīng)用深度學(xué)習(xí)領(lǐng)域是一個很大程度基于經(jīng)驗的過程们何。

1.4.3.3 參數(shù)初始化

為什么要隨機初始化權(quán)重

如果在初始時將兩個隱藏神經(jīng)元的參數(shù)設(shè)置為相同的大小萄焦，那么兩個隱藏神經(jīng)元對輸出單元的影響也是相同的，通過反向梯度下降去進行計算的時候冤竹，會得到同樣的梯度大小楷扬，所以在經(jīng)過多次迭代后，兩個隱藏層單位仍然是對稱的贴见。無論設(shè)置多少個隱藏單元，其最終的影響都是相同的躲株，那么多個隱藏神經(jīng)元就沒有了意義片部。

在初始化的時候，W 參數(shù)要進行隨機初始化霜定，不可以設(shè)置為 0档悠。b 因為不存在上述問題，可以設(shè)置為 0望浩。

以 2 個輸入辖所，2 個隱藏神經(jīng)元為例：

W = np.random.rand(2,2)* 0.01
b = np.zeros((2,1))

初始化權(quán)重的值選擇

這里將 W 的值乘以 0.01（或者其他的常數(shù)值）的原因是為了使得權(quán)重 W 初始化為較小的值，這是因為使用 sigmoid 函數(shù)或者 tanh 函數(shù)作為激活函數(shù)時磨德，W 比較小缘回，則 Z=WX+b 所得的值趨近于 0吆视，梯度較大，能夠提高算法的更新速度酥宴。而如果 W 設(shè)置的太大的話啦吧，得到的梯度較小，訓(xùn)練過程因此會變得很慢拙寡。

ReLU 和 Leaky ReLU 作為激活函數(shù)時不存在這種問題授滓，因為在大于 0 的時候，梯度均為 1肆糕。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末般堆，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子诚啃，更是在濱河造成了極大的恐慌淮摔，老刑警劉巖，帶你破解...
沈念sama閱讀 212,294評論 6贊 493
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件绍申，死亡現(xiàn)場離奇詭異噩咪，居然都是意外死亡，警方通過查閱死者的電腦和手機极阅，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,493評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門胃碾，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人筋搏，你說我怎么就攤上這事仆百。” “怎么了奔脐？”我有些...
開封第一講書人閱讀 157,790評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵俄周，是天一觀的道長。經(jīng)常有香客問我髓迎，道長峦朗，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 56,595評論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任排龄，我火速辦了婚禮波势，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘橄维。我一直安慰自己尺铣，他們只是感情好，可當(dāng)我...
茶點故事閱讀 65,718評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布争舞。她就那樣靜靜地躺著凛忿，像睡著了一般。火紅的嫁衣襯著肌膚如雪竞川。梳的紋絲不亂的頭發(fā)上店溢，一...
開封第一講書人閱讀 49,906評論 1贊 290
城市分裂傳說
那天叁熔，我揣著相機與錄音，去河邊找鬼逞怨。笑死庶喜，一個胖子當(dāng)著我的面吹牛衩藤，可吹牛的內(nèi)容都是我干的吱肌。我是一名探鬼主播牲蜀，決...
沈念sama閱讀 39,053評論 3贊 410
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼除秀！你這毒婦竟也來了糯累？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,797評論 0贊 268
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤册踩，失蹤者是張志新（化名）和其女友劉穎泳姐，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體暂吉，經(jīng)...
沈念sama閱讀 44,250評論 1贊 303
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡胖秒，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,570評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了慕的。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片阎肝。...
茶點故事閱讀 38,711評論 1贊 341
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖肮街，靈堂內(nèi)的尸體忽然破棺而出风题，到底是詐尸還是另有隱情，我是刑警寧澤嫉父，帶...
沈念sama閱讀 34,388評論 4贊 332
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布沛硅，位于F島的核電站，受9級特大地震影響绕辖，放射性物質(zhì)發(fā)生泄漏摇肌。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 40,018評論 3贊 316
男人毒藥：我在死后第九天來索命
文/蒙蒙一仪际、第九天我趴在偏房一處隱蔽的房頂上張望朦蕴。院中可真熱鬧，春花似錦弟头、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,796評論 0贊 21
一樁弒父案赴恨，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至伴栓，卻和暖如春伦连，著一層夾襖步出監(jiān)牢的瞬間雨饺，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,023評論 1贊 266
情欲美人皮
我被黑心中介騙來泰國打工惑淳，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留额港，地道東北人。一個月前我還...
沈念sama閱讀 46,461評論 2贊 360
代替公主和親
正文我出身青樓歧焦，卻偏偏與公主長得像移斩，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子绢馍，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 43,595評論 2贊 350