今天的學(xué)習(xí)資料是這篇文章，寫的非常詳細(xì)果港，有理論有代碼印蓖，本文是補(bǔ)充一些小細(xì)節(jié)，可以二者結(jié)合看效果更好：
https://zybuluo.com/hanbingtao/note/541458
在文末有關(guān)于 RNN 的文章匯總京腥，之前寫的大多是概覽式的模型結(jié)構(gòu)，公式溅蛉，和一些應(yīng)用公浪，今天主要放在訓(xùn)練算法的推導(dǎo)。
本文結(jié)構(gòu)：
- 模型
- 訓(xùn)練算法
- 基于 RNN 的語言模型例子
- 代碼實(shí)現(xiàn)
1. 模型
- 和全連接網(wǎng)絡(luò)的區(qū)別
- 更細(xì)致到向量級(jí)的連接圖
- 為什么循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看任意多個(gè)輸入值
循環(huán)神經(jīng)網(wǎng)絡(luò)種類繁多船侧，今天只看最基本的循環(huán)神經(jīng)網(wǎng)絡(luò)欠气，這個(gè)基礎(chǔ)攻克下來，理解拓展形式也不是問題镜撩。
首先看它和全連接網(wǎng)絡(luò)的區(qū)別：
下圖是一個(gè)全連接網(wǎng)絡(luò)：
它的隱藏層的值只取決于輸入的 x
而 RNN 的隱藏層的值 s 不僅僅取決于當(dāng)前這次的輸入 x预柒，還取決于上一次隱藏層的值 s：
這個(gè)過程畫成簡(jiǎn)圖是這個(gè)樣子：
其中，t 是時(shí)刻袁梗， x 是輸入層宜鸯， s 是隱藏層， o 是輸出層遮怜，矩陣 W 就是隱藏層上一次的值作為這一次的輸入的權(quán)重淋袖。
上面的簡(jiǎn)圖還不能夠說明細(xì)節(jié)，來看一下更細(xì)致到向量級(jí)的連接圖：
Elman and Jordan networks are also known as "simple recurrent networks" (SRN).
其中各變量含義：
輸出層是一個(gè)全連接層锯梁，它的每個(gè)節(jié)點(diǎn)都和隱藏層的每個(gè)節(jié)點(diǎn)相連即碗，
隱藏層是循環(huán)層。
圖來自wiki：https://en.wikipedia.org/wiki/Recurrent_neural_network#Gated_recurrent_unit
為什么循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看任意多個(gè)輸入值呢陌凳？
來看下面的公式剥懒，即 RNN 的輸出層 o 和 隱藏層 s 的計(jì)算方法：
如果反復(fù)把式 2 帶入到式 1，將得到：
這就是原因合敦。
2. 訓(xùn)練算法
RNN 的訓(xùn)練算法為：BPTT
BPTT 的基本原理和 BP 算法是一樣的初橘，同樣是三步：
- 前向計(jì)算每個(gè)神經(jīng)元的輸出值；
- 反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)值，它是誤差函數(shù)E對(duì)神經(jīng)元j的加權(quán)輸入的偏導(dǎo)數(shù)壁却；
- 計(jì)算每個(gè)權(quán)重的梯度批狱。
最后再用隨機(jī)梯度下降算法更新權(quán)重。
BP 算法的詳細(xì)推導(dǎo)可以看這篇：
手寫展东，純享版反向傳播算法公式推導(dǎo)
http://www.reibang.com/p/9e217cfd8a49
下面詳細(xì)解析各步驟：
1. 前向計(jì)算
計(jì)算隱藏層 S 以及它的矩陣形式：
注意下圖中赔硫，各變量的維度，標(biāo)在右下角了盐肃，
s 的上標(biāo)代表時(shí)刻爪膊，下標(biāo)代表這個(gè)向量的第幾個(gè)元素。
2. 誤差項(xiàng)的計(jì)算
BTPP 算法就是將第 l 層 t 時(shí)刻的誤差值沿兩個(gè)方向傳播：
- 一個(gè)方向是砸王，傳遞到上一層網(wǎng)絡(luò)推盛，這部分只和權(quán)重矩陣 U 有關(guān)；（就相當(dāng)于把全連接網(wǎng)絡(luò)旋轉(zhuǎn)90度來看）
- 另一個(gè)是方向是谦铃，沿時(shí)間線傳遞到初始時(shí)刻耘成，這部分只和權(quán)重矩陣 W 有關(guān)。
如下圖所示：
所以驹闰，就是要求這兩個(gè)方向的誤差項(xiàng)的公式：
學(xué)習(xí)資料中式 3 就是將誤差項(xiàng)沿時(shí)間反向傳播的算法瘪菌，求到了任意時(shí)刻k的誤差項(xiàng)
下面是具體的推導(dǎo)過程：
主要就是用了 鏈鎖反應(yīng) 和 Jacobian 矩陣
其中 s 和 net 的關(guān)系如下，有助于理解求導(dǎo)公式：
學(xué)習(xí)資料中式 4 就是將誤差項(xiàng)傳遞到上一層算法：
這一步和普通的全連接層的算法是完全一樣的嘹朗，具體的推導(dǎo)過程如下：
其中 net 的 l 層 和 l－1 層的關(guān)系如下：
BPTT 算法的最后一步：計(jì)算每個(gè)權(quán)重的梯度
學(xué)習(xí)資料中式 6 就是計(jì)算循環(huán)層權(quán)重矩陣 W 的梯度的公式：
具體的推導(dǎo)過程如下：
和權(quán)重矩陣 W 的梯度計(jì)算方式一樣师妙，可以得到誤差函數(shù)在 t 時(shí)刻對(duì)權(quán)重矩陣 U 的梯度：
3. 基于 RNN 的語言模型例子
我們要用 RNN 做這樣一件事情，每輸入一個(gè)詞屹培，循環(huán)神經(jīng)網(wǎng)絡(luò)就輸出截止到目前為止默穴，下一個(gè)最可能的詞，如下圖所示：
首先褪秀，要把詞表達(dá)為向量的形式：
- 建立一個(gè)包含所有詞的詞典蓄诽，每個(gè)詞在詞典里面有一個(gè)唯一的編號(hào)。
- 任意一個(gè)詞都可以用一個(gè)N維的one-hot向量來表示媒吗。
這種向量化方法若专，我們就得到了一個(gè)高維、稀疏的向量蝴猪，這之后需要使用一些降維方法调衰，將高維的稀疏向量轉(zhuǎn)變?yōu)榈途S的稠密向量。
為了輸出 “最可能” 的詞自阱，所以需要計(jì)算詞典中每個(gè)詞是當(dāng)前詞的下一個(gè)詞的概率嚎莉，再選擇概率最大的那一個(gè)。
因此沛豌，神經(jīng)網(wǎng)絡(luò)的輸出向量也是一個(gè) N 維向量趋箩，向量中的每個(gè)元素對(duì)應(yīng)著詞典中相應(yīng)的詞是下一個(gè)詞的概率：
為了讓神經(jīng)網(wǎng)絡(luò)輸出概率赃额，就要用到 softmax 層作為輸出層。
softmax函數(shù)的定義：
因?yàn)楹透怕实奶卣魇且粯拥慕腥罚钥梢园阉鼈兛醋鍪歉怕省?/p>
例：
計(jì)算過程為：
含義就是：
模型預(yù)測(cè)下一個(gè)詞是詞典中第一個(gè)詞的概率是 0.03跳芳，是詞典中第二個(gè)詞的概率是 0.09。
語言模型如何訓(xùn)練竹勉？
把語料轉(zhuǎn)換成語言模型的訓(xùn)練數(shù)據(jù)集飞盆，即對(duì)輸入 x 和標(biāo)簽 y 進(jìn)行向量化，y 也是一個(gè) one-hot 向量
接下來次乓，對(duì)概率進(jìn)行建模吓歇，一般用交叉熵誤差函數(shù)作為優(yōu)化目標(biāo)。
交叉熵誤差函數(shù)票腰，其定義如下：
用上面例子就是：
計(jì)算過程如下：
有了模型城看，優(yōu)化目標(biāo)，梯度表達(dá)式杏慰，就可以用梯度下降算法進(jìn)行訓(xùn)練了测柠。
4. 代碼實(shí)現(xiàn)
RNN 的 Python 實(shí)現(xiàn)代碼可以在學(xué)習(xí)資料中找到。
關(guān)于神經(jīng)網(wǎng)絡(luò)缘滥，寫過的文章匯總：
推薦閱讀 歷史技術(shù)博文鏈接匯總
也許可以找到你想要的
