上期我們一起用RNN做了一個(gè)簡單的手寫字分類器，

深度學(xué)習(xí)算法(第18期)----用RNN也能玩分類

n_steps = 20
n_inputs = 1
n_neurons = 100
n_outputs = 1
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

在每一個(gè)時(shí)刻向臀，我們都有一個(gè)size為100的輸出向量，但是實(shí)際上诸狭，我們需要的是一個(gè)輸出值券膀。最簡單的方法就是用一個(gè)包裝器(Out putProjectionWrapper)把一個(gè)循環(huán)神經(jīng)元包裝起來。包裝器工作起來類似一個(gè)循環(huán)神經(jīng)元驯遇，但是疊加了其他功能芹彬。比如它在循環(huán)神經(jīng)元的輸出地方，增加了一個(gè)線性神經(jīng)元的全連接層（這并不影響循環(huán)神經(jīng)元的狀態(tài)）叉庐。所有全連接層神經(jīng)元共享同樣的權(quán)重和偏置舒帮。如下圖：

包裝一個(gè)循環(huán)神經(jīng)元相當(dāng)簡單，只需要微調(diào)一下之前的代碼就可以將一個(gè)BasicRNNCell轉(zhuǎn)換成OutputProjectionWrapper陡叠，如下：

cell = tf.contrib.rnn.OutputProjectionWrapper(
    tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu),
    output_size=n_outputs)

到目前為止玩郊，我們可以來定義損失函數(shù)了，跟之前我們做回歸一樣枉阵，這里用均方差（MSE）译红。接下來再創(chuàng)建一個(gè)優(yōu)化器，這里選擇Adam優(yōu)化器兴溜。如何選擇優(yōu)化器侦厚，見之前文章：

深度學(xué)習(xí)算法(第5期)----深度學(xué)習(xí)中的優(yōu)化器選擇

learning_rate = 0.001
loss = tf.reduce_mean(tf.square(outputs - y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()

接下來就是執(zhí)行階段：

n_iterations = 10000
batch_size = 50
with tf.Session() as sess:
    init.run()
    for iteration in range(n_iterations):
        X_batch, y_batch = [...] # fetch the next training batch
        sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
        if iteration % 100 == 0:
            mse = loss.eval(feed_dict={X: X_batch, y: y_batch})
            print(iteration, "\tMSE:", mse)

輸出結(jié)果如下：

0 MSE: 379.586
100 MSE: 14.58426
200 MSE: 7.14066
300 MSE: 3.98528
400 MSE: 2.00254
[...]

一旦模型訓(xùn)練好之后，就可以用它來去預(yù)測了：

X_new = [...] # New sequences
y_pred = sess.run(outputs, feed_dict={X: X_new})

下圖顯示了拙徽，上面的代碼訓(xùn)練1000次迭代之后刨沦，模型的預(yù)測結(jié)果：?盡管用OutputProjectionWrapper是將RNN的輸出序列降維到一個(gè)值的最簡單的方法，但它并不是效率最高的斋攀。這里有一個(gè)技巧已卷，可以更加高效：先將RNN輸出的shape從[batch_size, n_steps, n_neurons]轉(zhuǎn)換成[batch_size * n_steps, n_neurons]梧田，然后用一個(gè)有合適size的全連接層淳蔼，輸出一個(gè)[batch_size * n_steps, n_outputs]的tensor侧蘸，最后將該tensor轉(zhuǎn)為[batch_size, n_steps, n_outputs]。如下圖：?該方案實(shí)施起來鹉梨，并不難讳癌，這里不需要OutputProjectionWrapper包裝器了，只需要BasicRNNCell存皂，如下：

cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
rnn_outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

然后晌坤，我們對結(jié)果進(jìn)行reshape，全連接層旦袋，再reshape骤菠，如下：

stacked_rnn_outputs = tf.reshape(rnn_outputs, [-1, n_neurons])
stacked_outputs = fully_connected(stacked_rnn_outputs, n_outputs,
            activation_fn=None)
outputs = tf.reshape(stacked_outputs, [-1, n_steps, n_outputs])

接下來的代碼和之前的一樣了，由于這次只用了一個(gè)全連接層疤孕，所以跟之前相比商乎，速度方面提升了不少。

好了祭阀，至此鹉戚，今天我們主要數(shù)據(jù)集的設(shè)置，RNN的創(chuàng)建专控，如何降維抹凳，以及損失函數(shù)，優(yōu)化器伦腐，訓(xùn)練和預(yù)測模型的方面學(xué)習(xí)了RNN的使用赢底，希望有些收獲，歡迎留言或進(jìn)社區(qū)共同交流蔗牡，喜歡的話颖系，就點(diǎn)個(gè)“在看”吧，您也可以置頂公眾號辩越，第一時(shí)間接收最新內(nèi)容嘁扼。