RNN的bp
來源：https://zybuluo.com/hanbingtao/note/581764
RNN的權(quán)重向下層輸出的同時(shí)骑素，會(huì)將權(quán)重返回到本層的輸入處鞠值，和下一次的輸入加和
RNN結(jié)構(gòu)
RNN只用了一個(gè)權(quán)重保存節(jié)點(diǎn)的狀態(tài)曙痘，LSTM用了兩個(gè)權(quán)重來保存，新加的狀態(tài)稱為單元狀態(tài)（cell stat）
C和H兩個(gè)狀態(tài)
對(duì)長程記憶和短程記憶的控制并村，可以參考LSTM單元來了解：
LSTM結(jié)構(gòu)
LSTM用三個(gè)門來控制數(shù)據(jù)的流動(dòng)：f,i,o荚醒，其中forget門控制C_{t-1}到C_t的量，input門控制h_{t-1}和x_t到C_t的量霜旧，output門控制C_{t}到h_t的量
GRU有兩個(gè)門错忱，一個(gè)狀態(tài)：
輸入門、遺忘門挂据、輸出門變?yōu)閮蓚€(gè)門：更新門（Update Gate）和重置門（Reset Gate）
GRU
