RNN目標(biāo)是解決序列數(shù)據(jù)的學(xué)習(xí)問題瘪菌，方法是每一刻給所有歷史一個(gè)總結(jié)：
Si = f(xi, Si_1);
這就是一種狀態(tài)機(jī)。
對(duì)RNN唯一的約束就是長(zhǎng)程相關(guān)性：當(dāng)前Sn狀態(tài)允許對(duì)古老的x0敏感：
dSn/dx0 != 0
于是就有門電路法的lstm等結(jié)構(gòu)：維護(hù)一個(gè)cell state古毛，每一步遺忘點(diǎn)狀態(tài)，再增加點(diǎn)狀態(tài)進(jìn)cell state，輸出也可以控制下却紧。這樣的話，Cs就能保證能一直傳遞下去胎撤，長(zhǎng)程得以保存
每個(gè)門都是由上一刻狀態(tài)S_和當(dāng)前輸入x調(diào)節(jié)的：g=g(S_, x)
NRU的改進(jìn)就是晓殊，使得這些門g也是長(zhǎng)程的。
現(xiàn)有的門都是sigmond或者tanh伤提，所以t時(shí)刻的門巫俺，與太老的x就沒關(guān)系了（dgt/dx0 ~ 0），這樣的門就不夠高級(jí)飘弧，有些長(zhǎng)程開關(guān)他實(shí)現(xiàn)不了识藤。
NRU用ReLU做門激活函數(shù)，解決這個(gè)問題次伶。實(shí)驗(yàn)顯示挺牛痴昧。
