https://zhuanlan.zhihu.com/p/28919765
學(xué)會區(qū)分 RNN 的 output 和 state
6 個(gè)月前
寫這篇文章的起因是娜亿，有人問調(diào)用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等嗎？如果不想等有决，為什么會不等呢挤土？
其實(shí)這也是學(xué)習(xí) RNN 的一大難點(diǎn)条篷。我個(gè)人認(rèn)為腰素，學(xué)習(xí) RNN 最難的地方就是弄明白它的輸入和輸出是什么。一個(gè)簡單的回答是轰豆，對于一個(gè) RNN 單元胰伍，它每次接受一個(gè)當(dāng)前輸入 x_t 和前一步的隱層狀態(tài) s_{t-1}，然后產(chǎn)生一個(gè)新的隱層狀態(tài) s_t酸休，也即：s_t = f(x_t, s_{t-1})骂租，其中 f 代表某個(gè)函數(shù)，對應(yīng)于 RNN 內(nèi)部的運(yùn)算過程斑司。
這種說法并沒有錯(cuò)渗饮，但是不夠好，因?yàn)楹芏鄷r(shí)候，把 RNN 的輸出和狀態(tài)區(qū)分開來互站，理解起來會更加順暢私蕾。也就是說，我們認(rèn)為 RNN 是這樣一個(gè)單元：y_t, s_t = f(x_t, s_{t-1}) 胡桃，畫成圖的話踩叭，就是這樣：
這也是本文所要強(qiáng)調(diào)的地方：務(wù)必要區(qū)分 RNN 的輸出和狀態(tài)。這么做有什么用呢翠胰？先看
先看一個(gè)最基本的例子容贝，考慮 Vanilla RNN/GRU Cell（vanilla RNN 就是最普通的 RNN，對應(yīng)于 TensorFlow 里的 BasicRNNCell）之景，工作過程如下：
這時(shí)斤富，s_t = y_t = h_t，區(qū)分這倆確實(shí)沒用茂缚。
但是！如果是 LSTM 呢屋谭？對于 LSTM，它的循環(huán)部件其實(shí)有兩部分桐磁，一個(gè)是內(nèi)部 cell 的值，另一個(gè)是根據(jù) cell 和 output gate 計(jì)算出的 hidden state讲岁，輸出層只利用 hidden state 的信息我擂，而不直接利用 cell。這樣一來缓艳，LSTM 的工作過程就是：
其中真正用于循環(huán)的狀態(tài) s_t 其實(shí)是 (c_t, h_t) 組成的 tuple（就是 TensorFlow 里的 LSTMStateTuple校摩，當(dāng)然，如果你選擇不用 tuple 表示 LSTM 的內(nèi)部狀態(tài)阶淘，也可以把 c_t 和 h_t 拼起來衙吩，合起來拼成一個(gè) Tensor，這樣的話它的狀態(tài)就是一個(gè) Tensor 了溪窒，這時(shí)做別的計(jì)算可能會方便一些坤塞，這個(gè)其實(shí)就是 TensorFlow 里的 state_is_tuple 這個(gè)開關(guān)。）澈蚌，而輸出 y_t 僅僅是 h_t（例如網(wǎng)絡(luò)后面再接一個(gè)全連接層然后用 softmax 做分類摹芙，這個(gè)全連接層的輸入僅僅是 h_t，而沒有 c_t）宛瞄，這時(shí)就可以看到區(qū)分 RNN 的輸出和狀態(tài)的意義了浮禾。
當(dāng)然，這種抽象的意義不止于此。如果是一個(gè)多層的 Vanilla RNN/GRU Cell盈电，那么一種簡單的抽象辦法就是蝴簇，把多層 Cell 當(dāng)成一個(gè)整體，當(dāng)成一層大的 Cell挣轨，然后原先各層之間的關(guān)系都當(dāng)成這個(gè)大的 Cell 的內(nèi)部計(jì)算過程/數(shù)據(jù)流動過程军熏，這樣對外而言，多層的 RNN 和單層的 RNN 接口就是一模一樣的：在外部看來卷扮，多層 RNN 只是一個(gè)內(nèi)部計(jì)算更復(fù)雜的單層 RNN荡澎。圖示如下：
大方框表示把多層 RNN 整體視為一層大的 Cell，而里面的小方框則對應(yīng)于原先的每一層 RNN晤锹。這時(shí)摩幔，如果把大方框視為一個(gè)整體，那么這個(gè)整體進(jìn)行循環(huán)所需要的狀態(tài)就是各層的狀態(tài)組成的集合鞭铆，或者說把各層的狀態(tài)放在一起組成一個(gè) tuple：
?（這里為什么要用 tuple 呢或衡？直接把它們拼成一個(gè) Tensor 不行嗎，tuple 還得一個(gè)一個(gè)遍歷车遂，這多麻煩封断？答案是，不行舶担。因?yàn)槎鄬?RNN 并不需要每一層都一樣大坡疼，例如有可能最底層維度比較高，隱層單元數(shù)較大衣陶，越往上則隱層維度越小柄瑰。這樣一來，每一層的狀態(tài)維度都不一樣剪况，沒法 concat 成一個(gè) Tensor 敖陶础！）译断；而這個(gè)大的 RNN 單元的輸出則只有原先的最上層 RNN 的輸出授翻，即整體的?
?。
在這個(gè)例子里孙咪，大 RNN 單元的輸出和狀態(tài)顯然不一樣藏姐。在這種視角下，多層 RNN 和單層 RNN 可以用一個(gè)統(tǒng)一的視角來看待该贾，世界清爽了許多羔杨。事實(shí)上，在 TensorFlow 里杨蛋，MultiRNNCell 就是 RNNCell 的一個(gè)子類兜材，它把多層的 RNN 當(dāng)成一個(gè)整體理澎、當(dāng)成一個(gè)內(nèi)部結(jié)構(gòu)更復(fù)雜的單層 RNN 來看待。我在文章最開始提到的代表 RNN 內(nèi)部計(jì)算的函數(shù) f曙寡，其實(shí)就是 RNNCell 的 __call__ 方法糠爬。
再來看最后一個(gè)例子，多層 LSTM：
和之前的例子類似举庶，把多層 LSTM 看成一個(gè)整體执隧，這個(gè)整體的輸出就是最上層 LSTM 的輸出：?
?；而這個(gè)整體進(jìn)行循環(huán)所依賴的狀態(tài)則是每一層狀態(tài)組合成的 tuple户侥，而每一層狀態(tài)本身又是一個(gè) (c, h) tuple镀琉，所以最后結(jié)果就是一個(gè) tuple 的 tuple，如圖所示蕊唐。
這樣一來屋摔，便可以回答兩個(gè)問題：
其一是，outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后替梨，last_state 和 outputs[-1] 相等嗎钓试？
outputs 是 RNN Cell 的 output 組成的列表，假設(shè)一共有 T 個(gè)時(shí)間步副瀑，那么 outputs = [y_1, y_2, ..., y_T]弓熏，因此 outputs[-1] = y_T；而 last_state 則是最后一步的隱層狀態(tài)糠睡，即 s_T挽鞠。
那么，到底 outputs[-1] 等不等于 last_state 呢铜幽？或者說 y_T 等不等于 s_T 呢？看一下上面四個(gè)圖就可以知道串稀，當(dāng)且僅當(dāng)使用單層 Vanilla RNN/GRU 的時(shí)候除抛，他們才相等。
其二是母截，LSTM 作為一個(gè) state 和 output 不一樣的奇葩到忽，導(dǎo)致我們經(jīng)常需要操作那個(gè) (c, h) tuple，或者在 tuple 和 Tensor 之間轉(zhuǎn)換清寇。有一段很常用的轉(zhuǎn)換代碼是這樣的：
lstm_state_as_tensor_shape=[num_layers,2,batch_size,hidden_size]initial_state=tf.zeros(lstm_state_as_tensor_shape)unstack_state=tf.unstack(initial_state,axis=0)tuple_state=tuple([tf.contrib.rnn.LSTMStateTuple(unstack_state[idx][0],unstack_state[idx][1])foridxinrange(num_layers)])inputs=tf.unstack(inputs,num=num_steps,axis=1)outputs,state_out=tf.contrib.rnn.static_rnn(cell,inputs,initial_state=tuple_state)
對著上面最后一張多層 LSTM 的圖琢磨琢磨喘漏，就知道這幾行代碼到底是如何把 Tensor 轉(zhuǎn)換成多層 LSTM 的狀態(tài)的了。
