Recurrent Neural Networks
- networks with loops in them, allowing information to persist.
Paste_Image.png
- unroll
Paste_Image.png
The Problem of Long-Term Dependencies
- use past to predict now
Paste_Image.png
- The problem was explored in depth by Hochreiter (1991) [German] and Bengio, et al. (1994), who found some pretty fundamental reasons why it might be difficult.
-
這是普通的RNN結(jié)構(gòu)
Paste_Image.png 這是LSTM結(jié)構(gòu)
Paste_Image.png
Paste_Image.png
The Core Idea Behind LSTMs
- 重要的點 cell state(傳輸帶)筋现，能夠在上面增加或者去除cell
Paste_Image.png
- 門有讓信息通過的能力。由sigmoid和乘法運算組成俩功。
Paste_Image.png
它決定有多少信息通過。0意味著不讓任何信息通過饭宾，1意味著讓所有信息通過农猬。
Step-by-Step LSTM Walk Through
- “forget gate layer.”
Paste_Image.png
- decide what new information we’re going to store
Paste_Image.png
- 我們決定那些要忘記抄腔，那些信息重要的要留下
Paste_Image.png
- 最后我們決定要輸出什么（時態(tài)or詞性）
Paste_Image.png
LSTM變形
1.我們希望在忘記之前能夠查看cell state的情況(peepholes)
Paste_Image.png
2.當(dāng)我們忘記舊的東西楞抡，我們才加入新的值
Paste_Image.png
3.把forget gate 和 input gate 變成update gate伟众。把cell state 和hidden state 結(jié)合在一起。
Paste_Image.png
