迷人的神經(jīng)網(wǎng)絡(luò)——機(jī)器學(xué)習(xí)筆記1

開始接觸神經(jīng)網(wǎng)絡(luò)（Neural Network栏妖，NN）的入門例子 MNIST及其論文 Y. LeCun, L. Bottou, Y. Bengio and P. Haffner: Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86(11):2278-2324, November 1998 時(shí)，難免會有很多疑問：例如：

  • 什么是CNN、RNN、LSTM？什么是卷積(convolution)層蓬豁、池化(pooling)層、全連接（fully connected）層菇肃、Dropout層地粪？
  • 為什么需要激活函數(shù)？為什么ReLU不處處可微卻性能優(yōu)良琐谤？
  • 什么是反向傳播蟆技？怎么實(shí)現(xiàn)？
  • 損失函數(shù)如何設(shè)置斗忌？
  • 優(yōu)化算法如何選戎世瘛？什么是貝葉斯正則化织阳？如何設(shè)置學(xué)習(xí)率可以保證最速訓(xùn)練且收斂到全局最優(yōu)几苍？
  • 學(xué)習(xí)率、Batch_Size和Epoch的如何設(shè)置陈哑？

帶著這些疑問找到了一本講述傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的書《神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)（第二版）》妻坝，讀之后感覺豁然開朗，學(xué)了多年的《線性代數(shù)》終于明白了怎么用惊窖，而且順便復(fù)習(xí)了很多學(xué)過的課程：線性代數(shù)刽宪、高等數(shù)學(xué)、概率論與數(shù)理統(tǒng)計(jì)界酒、離散信號處理圣拄、隨機(jī)信號處理、數(shù)字圖像處理毁欣、數(shù)學(xué)物理方法庇谆，收獲良多岳掐，故而整理下作為學(xué)習(xí)筆記。本文所有配圖及其版權(quán)歸原作者所有饭耳，本文僅供學(xué)習(xí)串述。另外中文翻譯版內(nèi)容有些許錯誤，強(qiáng)烈建議對照著原版pdf一起學(xué)習(xí)寞肖。

原書名為《NEURAL NETWORK DESIGN (Second Edition)》纲酗，作者：Mattin T.Hagan、Howard B.Demuth新蟆、Mark H.Bearle 和 Orlando De Jesus觅赊。

配套的演示軟件、書籍pdf版及ppt下載頁面如下：

第1章 神經(jīng)元模型及網(wǎng)絡(luò)結(jié)構(gòu)

1.1 神經(jīng)元模型

1.1.1 單輸入神經(jīng)元

標(biāo)量輸入 p 乘以權(quán)值（weight） w 得到 wp琼稻，作為其中的一項(xiàng)進(jìn)入累加器吮螺，另一個(gè)輸入"1"乘以一個(gè)偏置值（bias）b ，再送入累加器帕翻。累加器的輸出結(jié)果 n 规脸，通常稱作 凈輸入 (net input) ，送給 傳輸函數(shù)（transfer function） f 作用后熊咽，產(chǎn)生標(biāo)量 a 莫鸭，作為神經(jīng)元的輸出（一些作者使用“激活函數(shù)”而不是“傳輸函數(shù)”，“補(bǔ)償”而不是“偏置值”）横殴。權(quán)值 w 對應(yīng)生物神經(jīng)元的突觸連接的強(qiáng)度被因，胞體由累加器和激活函數(shù)來表述，神經(jīng)元的輸出 a 代表突觸上的信號衫仑。神經(jīng)元的實(shí)際輸出依賴于不同激活函數(shù)的選擇梨与。

a = f(wp+b)

1.1.2 激活函數(shù)

激活函數(shù)可以是一個(gè)關(guān)于凈輸入 n 的線性或非線性函數(shù)。

（1）硬限值：如果自變量小于0文狱，神經(jīng)元輸出0粥鞋；如果函數(shù)大于等于0，神經(jīng)元輸出1瞄崇。
a= \begin{cases} 1 & n \ge 0\\ 0 & n < 0 \end{cases}
輸入/輸出特性如下

image

（2）線性：輸出等于輸入
a=n
輸入/輸出特性如下圖：

（3）對數(shù)-S型（log-sigmoid）：
a=\frac{1}{1+e^{-n}}
輸入/輸出特性如下

image

（4）Tanh （hyperbolic tangent sigmoid 雙曲正切S型）呻粹，用于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（recurrent neural networks）：
a=\frac{e^{n}-e^{-n}}{e^{n}+e^{-n}}

（5）ReLU （rectified linear units），目前卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural networks）中喜歡使用的激活函數(shù)：
a= \begin{cases} n & n \ge 0\\ 0 & n < 0 \end{cases}

1.1.3 多輸入神經(jīng)元

R 個(gè)輸入權(quán)值 p_{1} 苏研，p_{2} 等浊，... ， p_{r}對應(yīng)權(quán)值矩陣 W

共享神經(jīng)元的偏置 b
a = f(Wp+b)

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 單層神經(jīng)網(wǎng)絡(luò)

R個(gè)輸入摹蘑，S個(gè)神經(jīng)元的權(quán)值矩陣：
W=\left[ \begin{matrix} w11 & w12 & {\dots} & w1r \\ w21 & w22 & {\dots} & w2r\\ {\vdots} & {\vdots} & {} & {\vdots} \\ ws1 & ws2 & {\dots} & wsr \end{matrix} \right]

1.2.2 多層神經(jīng)網(wǎng)絡(luò)

image

1.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent network , RNN）

延遲器：
a(t)=u(t-1)
假設(shè)時(shí)間步長的更新是離散的筹燕，并且只取整數(shù)值

積分器：
a(t)=\int{u(\tau)d(\tau)+a(0)}
a(0)代表初始條件

循環(huán)神經(jīng)網(wǎng)絡(luò)是一個(gè)帶有反饋的網(wǎng)絡(luò)，它的部分輸出連接到它的輸入。
延遲器撒踪、積分器和循環(huán)神經(jīng)網(wǎng)絡(luò)RNN如圖所示：


第2章 一個(gè)小例子

三種網(wǎng)絡(luò)：前饋網(wǎng)絡(luò)（感知機(jī)為代表）过咬、競爭網(wǎng)絡(luò)（Hamming 網(wǎng)絡(luò)為代表）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Hopfield 網(wǎng)絡(luò)為代表）

2.1 問題描述：模式識別

水果的三種特征：形狀、紋理和重量

  • 形狀感知器：近似圓輸出 1 制妄，近似橢圓輸出 -1
  • 紋理感知器：表面光滑輸出 1 掸绞， 表面粗糙輸出 -1
  • 重量感知器：大于1磅輸出 1 ， 小于1磅輸出 -1

輸入忍捡、標(biāo)準(zhǔn)的橘子和標(biāo)準(zhǔn)的蘋果為：
p= \left[ \begin{matrix} 形狀 \\ 紋理 \\ 重量 \end{matrix} \right]集漾， p_{橘子}= \left[ \begin{matrix} 1 \\ -1 \\ -1 \end{matrix} \right]切黔， p_{蘋果}= \left[ \begin{matrix} 1 \\ 1 \\ -1 \end{matrix} \right]

2.2 感知機(jī)

采用對稱硬限值激活函數(shù) handlims 的單層感知機(jī)

2.2.1 兩個(gè)輸入的實(shí)例

單神經(jīng)元的感知機(jī)能把輸入向量分為兩類

a=hardlinms(n)=hardlinms([w_{1,1} , w_{1,2}]p+b)
如果輸入權(quán)值矩陣（這里是一個(gè)行向量）和輸入向量的內(nèi)積大于或者等于 -b 砸脊，則感知機(jī)的輸出為 1 ，如果內(nèi)積小于 -b 纬霞，則輸出 -1 凌埂。這樣將空間劃分為兩個(gè)部分

邊界條件為：
Wp+b=0

2.2.2 模式識別實(shí)例

a=hardlinms(n)=hardlinms([w_{1,1} ,w_{1,2},w_{1,3}] \left[ \begin{matrix} p_{1} \\ p_{2} \\ p_{3} \end{matrix} \right]+b)

偏置值 b=0 ， 權(quán)值矩陣 W=[0,1,0]诗芜，權(quán)值矩陣正交與決策邊界

感知機(jī)的決策邊界與標(biāo)準(zhǔn)向量：


image

2.3 Hamming 網(wǎng)絡(luò)

為了解決二值模式識別的問題而特別設(shè)計(jì)的（輸入向量中的每個(gè)元素都只有2個(gè)可能的取值）

包含一層前饋層和一層反饋層瞳抓，兩層神經(jīng)元個(gè)數(shù)相同，標(biāo)準(zhǔn)的Hamming 網(wǎng)絡(luò)如下：


image

Hamming 網(wǎng)絡(luò)的目標(biāo)是判斷哪個(gè)標(biāo)準(zhǔn)向量最接近輸入向量伏恐。判斷結(jié)果由反饋層的輸出表示孩哑。對于每一個(gè)標(biāo)準(zhǔn)模式而言，在反饋層中都有與之對應(yīng)的神經(jīng)元翠桦。當(dāng)反饋層收斂后横蜒，只有一個(gè)神經(jīng)元會輸出非零值，該神經(jīng)元就表示哪一個(gè)標(biāo)準(zhǔn)模式最接近輸入向量销凑。

2.3.1 前饋層

前饋層用來計(jì)算每個(gè)標(biāo)準(zhǔn)模式和輸入模式之間的相關(guān)性或內(nèi)積丛晌。為了達(dá)到計(jì)算相關(guān)性的目的，前饋層中權(quán)值矩陣用連接矩陣 W^{1} 表示斗幼，該矩陣每一行設(shè)置為一個(gè)標(biāo)準(zhǔn)模式澎蛛。在蘋果和橘子實(shí)例中：
\mathbf{W}^{1}=\left[ \begin{array}{c}{\mathbf{p}_{1}^{T}} \\ {\mathbf{p}_{2}^{T}}\end{array}\right]=\left[ \begin{array}{cc}{1} & {-1} & {-1} \\ {1} & {1} & {-1}\end{array}\right]
前饋層中使用線性傳輸函數(shù)，偏置向量中的每個(gè)元素都等于 r 蜕窿，其中 r 等于輸入向量中元素的個(gè)數(shù)谋逻，偏置向量為：
\mathbf^{1}=\left[ \begin{array}{l}{3} \\ {3}\end{array}\right]
通過選擇權(quán)值和偏置向量桐经，前饋層的輸出為：
\mathbf{a}^{1}=\mathbf{W}^{1} \mathbf{p}+\mathbf斤贰^{1}=\left[ \begin{array}{c}{\mathbf{p}_{1}^{T}} \\ {\mathbf{p}_{2}^{T}}\end{array}\right] \mathbf{p}+\left[ \begin{array}{l}{3} \\ {3}\end{array}\right]=\left[ \begin{array}{c}{\mathbf{p}_{1}^{T} \mathbf{p}+3} \\ {\mathbf{p}_{2}^{T} \mathbf{p}+3}\end{array}\right]

注意：前饋層的輸出等于每個(gè)標(biāo)準(zhǔn)模式和輸入向量的內(nèi)積加上 r 。對于兩個(gè)長度（范數(shù)）相同的向量而言次询，當(dāng)它們方向相同時(shí)內(nèi)積最大荧恍，方向相反時(shí)內(nèi)積最小。通過給內(nèi)積加上 r ，來確保前饋層的輸出永遠(yuǎn)不會為負(fù)數(shù)送巡，這也是反饋層所需要的摹菠。

2.3.2 反饋層

反饋層正是所謂的 競爭層 。初始值為前饋層的輸出骗爆，這個(gè)輸出代表著標(biāo)準(zhǔn)模式和輸入向量的相關(guān)性次氨。然后該層的神經(jīng)元互相競爭決定一個(gè)勝者。競爭結(jié)束后摘投，只會有一個(gè)神經(jīng)元的輸出為零煮寡。獲勝的神經(jīng)元表明了網(wǎng)絡(luò)輸入的類別。
a= \begin{cases} \mathbf{a}^{2}(0)=\mathbf{a}^{1} & （初始條件）\\ \mathbf{a}^{2}(t+1)=\operatorname{ReLU}\left(\mathbf{W}^{2} \mathbf{a}^{2}(t)\right) & n < 0 \end{cases}
其中上標(biāo)表示網(wǎng)絡(luò)層數(shù)

權(quán)值矩陣為：
\mathbf{W}^{2}=\left[ \begin{array}{cc}{1} & {-\varepsilon} \\ {-\varepsilon} & {1}\end{array}\right]
其中 \varepsilon 是一個(gè)小于 1/(s-1) 的數(shù)犀呼， s 為反饋層中神經(jīng)元的個(gè)數(shù)幸撕。

反饋層一次迭代計(jì)算過程為：

\mathbf{a}^{2}(t+1)=\operatorname{ReLU}\left(\left[ \begin{array}{cc}{1} & {-\varepsilon} \\ {-\varepsilon} & {1}\end{array}\right] \mathbf{a}^{2}(t)\right)=\operatorname{ReLU}\left(\left[ \begin{array}{c}{a_{1}^{2}(t)-\varepsilon a_{2}^{2}(t)} \\ {a_{2}^{2}(t)-\varepsilon a_{1}^{2}(t)}\end{array}\right]\right)

向量中每一個(gè)元素都要同等比例減去另一個(gè)元素的一部分，值較大的元素減幅小一些外臂，值較小的元素減幅大一些坐儿，因此值較大的元素與值較小元素之間的差異就會增大。反饋層的作用就在于將除了初始值最大的神經(jīng)元外的其他所有神經(jīng)元的輸出逐步縮小為0（最終輸出值最大的神經(jīng)元對應(yīng)著與輸入的 Hamming 距離最小的標(biāo)準(zhǔn)輸入模式）

運(yùn)行過程如下：
考慮用于驗(yàn)證感知機(jī)的橢圓形橘子
\mathbf{p}=\left[ \begin{array}{c}{-1} \\ {-1} \\ {-1}\end{array}\right]
前饋層的輸出為：
\mathbf{a}^{1}=\left[ \begin{array}{rrr}{1} & {-1} & {-1} \\ {1} & {1} & {-1}\end{array}\right] \left[ \begin{array}{c}{-1} \\ {-1} \\ {-1}\end{array}\right]+\left[ \begin{array}{l}{3} \\ {3}\end{array}\right] = \left[ \begin{array}{c}{(1+3)} \\ {(-1+3)}\end{array}\right] = \left[ \begin{array}{l}{4} \\ {2}\end{array}\right]

上式的結(jié)果是反饋層的初始條件：

反饋層第一次迭代結(jié)果：

\mathbf{a}^{2}(1)=\operatorname{ReLU}\left(\mathbf{W}^{2} \mathbf{a}^{2}(0)\right) = \begin{cases} \operatorname{ReLU}\left(\left[ \begin{array}{rr}{1} & {-0.5} \\ {-0.5} & {1}\end{array}\right] \left[ \begin{array}{l}{4} \\ {2}\end{array}\right]\right) \\ \\ \operatorname{ReLU}\left(\left[ \begin{array}{l}{3} \\ {0}\end{array}\right]\right)=\left[ \begin{array}{l}{3} \\ {0}\end{array}\right] \end{cases}

反饋層第二次迭代結(jié)果：

\mathbf{a}^{2}(1)=\operatorname{ReLU}\left(\mathbf{W}^{2} \mathbf{a}^{2}(1)\right) = \begin{cases} \operatorname{ReLU}\left(\left[ \begin{array}{rr}{1} & {-0.5} \\ {-0.5} & {1}\end{array}\right] \left[ \begin{array}{l}{3} \\ {0}\end{array}\right]\right) \\ \\ \operatorname{poslin}\left(\left[ \begin{array}{r}{3} \\ {-1.5}\end{array}\right]\right)=\left[ \begin{array}{l}{3} \\ {0}\end{array}\right] \end{cases}

由于后續(xù)迭代的輸出都相同宋光，所以網(wǎng)絡(luò)是收斂的貌矿。因?yàn)橹挥械谝簧窠?jīng)元輸出了非零值，所以選擇第一個(gè)標(biāo)注模式 橘子 作為匹配結(jié)果罪佳。因?yàn)?橘子 的標(biāo)準(zhǔn)模式與輸入模式的 Hamming 距離為 1 逛漫，而蘋果的標(biāo)準(zhǔn)模式和輸入模式的 Hamming 距離為2 ，所以網(wǎng)絡(luò)做出的選擇是正確的赘艳。

2.4 Hopfield 網(wǎng)絡(luò)

循環(huán)網(wǎng)絡(luò)酌毡，可以完成 Hamming 網(wǎng)絡(luò)兩層結(jié)構(gòu)才能完成的工作。Hopfield 網(wǎng)絡(luò)的一種變形如下圖：

image

使用輸入向量來初始化該網(wǎng)絡(luò)的神經(jīng)元第练，然后網(wǎng)絡(luò)不斷迭代直到收斂阔馋。當(dāng)網(wǎng)絡(luò)結(jié)果正確時(shí)，其輸出結(jié)果將會是某一個(gè)標(biāo)準(zhǔn)向量娇掏。

在 Hamming 網(wǎng)絡(luò)中由輸出非零值的神經(jīng)元來表明選定了哪種標(biāo)準(zhǔn)模式呕寝，而 Hopfield 網(wǎng)絡(luò)則是直接生成一個(gè)選定的標(biāo)準(zhǔn)模式作為輸出。

網(wǎng)絡(luò)運(yùn)算：

\begin{cases} \mathbf{a}(0)=\mathbf{p}\\ \mathbf{a}(t+1)=\operatorname{satlins}(\mathbf{W} \mathbf{a}(t)+\mathbf婴梧) \end{cases}

satlins 表示對稱飽和輸出函數(shù)下梢，其輸入輸出為：
a= \begin{cases} -1 & n<-1 \\ n & -1 \le n \le 1 \\ 1 & n>1 \end{cases}

Hamming 網(wǎng)絡(luò)的前饋層的權(quán)值為標(biāo)準(zhǔn)模式，在Hopfield 網(wǎng)絡(luò)中權(quán)值矩陣和偏置向量的設(shè)置要復(fù)雜許多塞蹭。

2.5 總結(jié)

感知機(jī)是前饋網(wǎng)絡(luò)的一個(gè)實(shí)例孽江。在這些網(wǎng)絡(luò)中，輸出是直接根據(jù)輸入計(jì)算得到的番电，中間沒有任何形式的反饋岗屏。前饋網(wǎng)絡(luò)可以用于模式識別辆琅，也可以用于函數(shù)逼近。函數(shù)逼近在自適應(yīng)濾波和自動控制等領(lǐng)域已有所應(yīng)用这刷。

以 Hamming 網(wǎng)絡(luò)為代表的競爭網(wǎng)絡(luò)由兩個(gè)主要的特性婉烟。第一，它們計(jì)算了已存儲的標(biāo)準(zhǔn)模式和輸入模式之間的距離暇屋。第二似袁，它們通過競爭來決定哪個(gè)神經(jīng)元所代表的標(biāo)準(zhǔn)模式最接近輸入。

以 Hopfield 網(wǎng)絡(luò)為代表的循環(huán)網(wǎng)絡(luò)咐刨，最初是受統(tǒng)計(jì)力學(xué)的啟發(fā)昙衅。它們被用作聯(lián)想記憶，其中已存儲的數(shù)據(jù)可以通過與輸入數(shù)據(jù)的關(guān)聯(lián)關(guān)系而不是基于地址被提取定鸟。循環(huán)網(wǎng)絡(luò)已經(jīng)被用來解決各種優(yōu)化問題而涉。

第3章 感知機(jī)學(xué)習(xí)規(guī)則

在不能可視化決策邊界的情況下，如何確定多輸入感知機(jī)網(wǎng)絡(luò)的權(quán)值矩陣和偏置值仔粥？
單層感知機(jī)網(wǎng)絡(luò)的優(yōu)點(diǎn)和局限性

3.1 學(xué)習(xí)規(guī)則

指修改網(wǎng)絡(luò)權(quán)值和偏置值的方法和過程婴谱，也稱為訓(xùn)練算法蟹但。學(xué)習(xí)規(guī)則是為了訓(xùn)練網(wǎng)絡(luò)來完成某些任務(wù)躯泰。學(xué)習(xí)規(guī)則可以歸納為三大類：

  • 有監(jiān)督學(xué)習(xí)
  • 無監(jiān)督學(xué)習(xí)
  • 增強(qiáng)（評分）學(xué)習(xí) ：適合應(yīng)用于決策等控制系統(tǒng)

3.2 感知機(jī)結(jié)構(gòu)

image

網(wǎng)絡(luò)的輸出為：

網(wǎng)絡(luò)中的每個(gè)神經(jīng)元把輸入空間劃分成了兩個(gè)區(qū)域

3.2.1 單神經(jīng)元感知機(jī)

考慮兩個(gè)輸入，輸出為：
\begin{aligned} a &= \operatorname{hardlim}(n)=\operatorname{hardlim}(\mathbf{W} \mathbf{p}+b) \\ &= \operatorname{hardlim}\left(\mathbf{w}^{T} \mathbf{p}+b\right)=\operatorname{hardlim}\left(w_{1,1} p_{1}+w_{1,2} p_{2}+b\right) \end{aligned}

決策邊界（descision boundary）通過網(wǎng)絡(luò)的凈輸入 n 等于 0 的輸入向量來確定
_{1} \mathbf{w}^{T} \mathbf{p}+b=0
對于決策邊界上的所有點(diǎn)而言华糖，輸入向量與權(quán)值向量間的內(nèi)積都相等麦向。

3.2.2 多神經(jīng)元感知機(jī)

每個(gè)神經(jīng)元都有一個(gè)決策邊界：
_{i} \mathbf{w}^{T} \mathbf{p}+b_{i}=0

3.3 感知機(jī)學(xué)習(xí)規(guī)則

有監(jiān)督訓(xùn)練的學(xué)習(xí)過程是從一組能夠正確反映網(wǎng)絡(luò)行為的樣本集中獲得的：

\left\{\mathbf{p}_{1}, \mathbf{t}_{1}\right\},\left\{\mathbf{p}_{2}, \mathbf{t}_{2}\right\}, \ldots,\left\{\mathbf{p}_{Q}, \mathbf{t}_{Q}\right\}

其中 {p}_{q} 是網(wǎng)絡(luò)的輸入， t_{q} 是該輸入相應(yīng)的目標(biāo)輸出客叉。當(dāng)每個(gè)輸入作用到網(wǎng)絡(luò)上時(shí)诵竭，將網(wǎng)絡(luò)的實(shí)際輸出與目標(biāo)輸出相比較。為了使網(wǎng)絡(luò)的實(shí)際輸出盡量靠近目標(biāo)輸出兼搏，學(xué)習(xí)規(guī)則將調(diào)整該網(wǎng)絡(luò)的權(quán)值和偏置值卵慰。

統(tǒng)一的學(xué)習(xí)規(guī)則：
定義感知機(jī)誤差 e ：
e=t-a
其中 t 代表目標(biāo)輸出， a 代表實(shí)際輸出
權(quán)值學(xué)習(xí)規(guī)則：
_{1} \mathbf{w}^{n e w}=_{1} \mathbf{w}^{o l d}+e \mathbf{p}=_{1} \mathbf{w}^{o l d}+(t-a) \mathbf{p}
將偏置值看作一個(gè)輸入總是1的權(quán)值佛呻，則偏置值學(xué)習(xí)規(guī)則：
b^{n e w}=b^{o l d}+e

通常將權(quán)值和偏置值初始化為較小的隨機(jī)數(shù)

3.4 收斂性證明

可以證明：

該規(guī)則總能收斂到能實(shí)現(xiàn)正確分類的權(quán)值上（假設(shè)權(quán)值存在）
感知機(jī)的學(xué)習(xí)規(guī)則將在有限次迭代后收斂

局限性：

無法解決 “異或”門 （兩個(gè)輸入值相同輸出0裳朋，輸入值不同輸出1）問題

3.5 小結(jié)

決策邊界總與權(quán)值向量正交

單層感知機(jī)只能對線性可分的向量進(jìn)行分類

學(xué)習(xí)規(guī)則：
\begin{cases} e=t-a \\ \mathbf{w}^{n e w}=\mathbf{w}^{o l d}+e \mathbf{p}=\mathbf{w}^{o l d}+(t-a) \mathbf{p} \\ b^{n e w}=b^{o l d}+e \end{cases}

由于簡書一篇文章的字?jǐn)?shù)不能太多，更多的內(nèi)容請轉(zhuǎn)如下鏈接：
迷人的神經(jīng)網(wǎng)絡(luò)——機(jī)器學(xué)習(xí)筆記1

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末吓著，一起剝皮案震驚了整個(gè)濱河市鲤嫡，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌绑莺，老刑警劉巖暖眼，帶你破解...
    沈念sama閱讀 219,270評論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異纺裁，居然都是意外死亡诫肠，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來栋豫，“玉大人惭缰，你說我怎么就攤上這事×牛” “怎么了漱受？”我有些...
    開封第一講書人閱讀 165,630評論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長骡送。 經(jīng)常有香客問我昂羡，道長，這世上最難降的妖魔是什么摔踱？ 我笑而不...
    開封第一講書人閱讀 58,906評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任虐先，我火速辦了婚禮，結(jié)果婚禮上派敷，老公的妹妹穿的比我還像新娘蛹批。我一直安慰自己，他們只是感情好篮愉，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布腐芍。 她就那樣靜靜地躺著，像睡著了一般试躏。 火紅的嫁衣襯著肌膚如雪猪勇。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,718評論 1贊 305
  • 城市分裂傳說
    那天颠蕴，我揣著相機(jī)與錄音泣刹，去河邊找鬼。 笑死犀被，一個(gè)胖子當(dāng)著我的面吹牛椅您，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播寡键，決...
    沈念sama閱讀 40,442評論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼掀泳，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了昌腰？” 一聲冷哼從身側(cè)響起开伏，我...
    開封第一講書人閱讀 39,345評論 0贊 276
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎遭商，沒想到半個(gè)月后固灵，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,802評論 1贊 317
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡劫流，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評論 3贊 337
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年巫玻，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了丛忆。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評論 1贊 351
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡仍秤，死狀恐怖熄诡，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情诗力，我是刑警寧澤凰浮，帶...
    沈念sama閱讀 35,810評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站苇本，受9級特大地震影響袜茧，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜瓣窄，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評論 3贊 331
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一笛厦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧俺夕，春花似錦裳凸、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評論 0贊 22
  • 一樁弒父案姨谷，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至悬荣，卻和暖如春菠秒，著一層夾襖步出監(jiān)牢的瞬間疙剑，已是汗流浹背氯迂。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留言缤，地道東北人嚼蚀。 一個(gè)月前我還...
    沈念sama閱讀 48,377評論 3贊 373
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像管挟，于是被迫代替她去往敵國和親轿曙。 傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評論 2贊 355

推薦閱讀更多精彩內(nèi)容