2018 · ICLR · SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS
想法來源：為了解決RNN訓(xùn)練速度慢牲览，在長序列問題上表現(xiàn)不佳墓陈。
價(jià)值：
方法：rnn中添加了一個(gè)離散的skip門恶守。在跟新這個(gè)門的更新方法上用了上下步關(guān)聯(lián)的方法。
缺點(diǎn)：離散問題用了RL和均勻分布解決贡必，不可以的兔港。
詳細(xì)方案：
-c450
其中S(s, x)可以看做是RNN，
image
其中離散化的可以用伯努利分布或者RL科侈，如果用RL，反向傳播的時(shí)候炒事，梯度設(shè)置為1臀栈。相當(dāng)于是GP，沒有用到reward挠乳。
數(shù)據(jù)集：
- MNIST
- IMDB
實(shí)驗(yàn)：
文章中的主要實(shí)驗(yàn)大多是在比較時(shí)間成本和運(yùn)算成本
ADDING TASK：作者說這個(gè)初始的LSTM中的實(shí)驗(yàn)數(shù)據(jù)权薯，對(duì)每一個(gè)單詞序列都標(biāo)注了是夠該被忽略。FLOPs是浮點(diǎn)運(yùn)算睡扬。
-c500
分類任務(wù)MNIST
-c500
IMDB
-c500
