本文從實(shí)踐的角度钮莲，來講一下如何構(gòu)建LSTM+CNN的模型對文本進(jìn)行分類夹抗。

本文Github

RNN網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)可以分別用來進(jìn)行文本分類蒲祈。RNN網(wǎng)絡(luò)在文本分類中呆瞻，作用是用來提取句子的關(guān)鍵語義信息，根據(jù)提取的語義對文本進(jìn)行區(qū)分慨蛙；CNN的作用是用來提取文本的特征辽聊，根據(jù)特征進(jìn)行分類。LSTM+CNN的作用股淡，就是兩者的結(jié)合，首先抽取文本關(guān)鍵語義廷区，然后對語義提取關(guān)鍵特征唯灵。
需要了解CNN基本原理：https://zhuanlan.zhihu.com/p/28173972。
需要了解RNN基本原理：http://www.reibang.com/p/32d3048da5ba隙轻。
個(gè)人認(rèn)為基礎(chǔ)知識講解的還不錯的博客埠帕。

數(shù)據(jù)來源

本實(shí)驗(yàn)是使用THUCNews的一個(gè)子集進(jìn)行訓(xùn)練與測試叁巨，數(shù)據(jù)集請自行到THUCTC：一個(gè)高效的中文文本分類工具包下載呐籽，請遵循數(shù)據(jù)提供方的開源協(xié)議;
文本類別涉及10個(gè)類別：categories = ['體育', '財(cái)經(jīng)', '房產(chǎn)', '家居', '教育', '科技', '時(shí)尚', '時(shí)政', '游戲', '娛樂']锋勺，每個(gè)分類6500條數(shù)據(jù)；
cnews.train.txt: 訓(xùn)練集(500010)
cnews.val.txt: 驗(yàn)證集(50010)
cnews.test.txt: 測試集(1000*10)

文本預(yù)處理

本文的預(yù)處理過程與文本分類--CNN大部分相同，其中有兩處不同。
1.在CNN分類中显蝌，文本的長度padding到了600;本次padding到了300。
2.針對動態(tài)RNN的特點(diǎn)神郊，增加計(jì)算每個(gè)batch中句子的真實(shí)長度夕晓。
代碼如下：

def seq_length(x_batch):
    real_seq_len = []
    for line in x_batch:
        real_seq_len.append(np.sum(np.sign(line)))
return real_seq_len

LSTM模型中的處理

定義占位符

        self.input_x = tf.placeholder(tf.int32, shape=[None, pm.seq_length], name='input_x')
        self.input_y = tf.placeholder(tf.float32, shape=[None, pm.num_classes], name='input_y')
        self.length = tf.placeholder(tf.int32, shape=[None], name='rnn_length')
        self.keep_pro = tf.placeholder(tf.float32, name='dropout')
        self.global_step = tf.Variable(0, trainable=False, name='global_step')

embedding層

使用預(yù)訓(xùn)練詞向量析既。

        with tf.device('/cpu:0'), tf.name_scope('embedding'):
            self.embedding = tf.get_variable("embeddings", shape=[pm.vocab_size, pm.embedding_dim],
                                             initializer=tf.constant_initializer(pm.pre_trianing))
            embedding_input = tf.nn.embedding_lookup(self.embedding, self.input_x)

LSTM層

        with tf.name_scope('LSTM'):
            cell = tf.nn.rnn_cell.LSTMCell(pm.hidden_dim, state_is_tuple=True)
            Cell = tf.contrib.rnn.DropoutWrapper(cell, self.keep_pro)
            output, _ = tf.nn.dynamic_rnn(cell=Cell, inputs=embedding_input, sequence_length=self.length, dtype=tf.float32)

以上為LSTM+CNN文本分類中囤屹，LSTM的環(huán)節(jié)智厌。針對動態(tài)RNN的情形，一般來說，只需將每個(gè)batch中的句子padding到等長即可睛约，但為了遷就CNN模型棍丐，所以須將所有句子padding到等長潦匈，計(jì)算batch中句子的真實(shí)長度掂为，是動態(tài)RNN部分需要的，告訴動態(tài)RNN真實(shí)句子是多長，這樣可以將填充的部分輸出為0，不會將額外的信息帶到CNN層中馋评。

CNN層

為了將LSTM輸出的結(jié)果是三維的tensor右核，而我們進(jìn)行conv2d的CNN操作，需要四維tensor镰烧，故第一步是擴(kuò)展維度拢军。CNN環(huán)節(jié)參考文本分類--CNN。

        with tf.name_scope('CNN'):
            outputs = tf.expand_dims(outputs, -1) #[batch_size, seq_length, hidden_dim, 1]
            pooled_outputs = []
            for i, filter_size in enumerate(pm.filters_size):
                filter_shape = [filter_size, pm.hidden_dim, 1, pm.num_filters]
                w = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name='w')
                b = tf.Variable(tf.constant(0.1, shape=[pm.num_filters]), name='b')
                conv = tf.nn.conv2d(outputs, w, strides=[1, 1, 1, 1], padding='VALID', name='conv')
                h = tf.nn.relu(tf.nn.bias_add(conv, b), name='relu')

                pooled = tf.nn.max_pool(h, ksize=[1, pm.seq_length-filter_size+1, 1, 1],
                                        strides=[1, 1, 1, 1], padding='VALID', name='pool')
                pooled_outputs.append(pooled)
            output_ = tf.concat(pooled_outputs, 3)
            self.output = tf.reshape(output_, shape=[-1, 3*pm.num_filters])

全連接層

將CNN輸出結(jié)果進(jìn)行dropout與全連接進(jìn)行相連怔鳖。

        with tf.name_scope('output'):
            out_final = tf.nn.dropout(self.output, keep_prob=self.keep_pro)
            o_w = tf.Variable(tf.truncated_normal([3*pm.num_filters, pm.num_classes], stddev=0.1), name='o_w')
            o_b = tf.Variable(tf.constant(0.1, shape=[pm.num_classes]), name='o_b')
            self.logits = tf.matmul(out_final, o_w) + o_b
            self.predict = tf.argmax(tf.nn.softmax(self.logits), 1, name='score')

Loss

這里使用softmax交叉熵求loss, logits=self.scores 這里一定用的是未經(jīng)過softmax處理的數(shù)值茉唉。

        with tf.name_scope('loss'):
            cross_entropy = tf.nn.sigmoid_cross_entropy_with_logits(logits=self.logits, labels=self.input_y)
            self.loss = tf.reduce_mean(cross_entropy)

optimizer

這里使用了梯度裁剪。首先計(jì)算梯度结执，這個(gè)計(jì)算是類似L2正則化計(jì)算w的值度陆，也就是求平方再平方根钞支。然后與設(shè)定的clip裁剪值進(jìn)行比較咱娶，如果小于等于clip,梯度不變蚯撩；如果大于clip,則梯度*（clip/梯度L2值）卒稳。

        with tf.name_scope('optimizer'):
            # 退化學(xué)習(xí)率 learning_rate = lr*(0.9**(global_step/10);staircase=True表示每decay_steps更新梯度
            # learning_rate = tf.train.exponential_decay(self.config.lr, global_step=self.global_step,
            # decay_steps=10, decay_rate=self.config.lr_decay, staircase=True)
            # optimizer = tf.train.AdamOptimizer(learning_rate)
            # self.optimizer = optimizer.minimize(self.loss, global_step=self.global_step) #global_step 自動+1
            # no.2
            optimizer = tf.train.AdamOptimizer(pm.learning_rate)
            gradients, variables = zip(*optimizer.compute_gradients(self.loss))  # 計(jì)算變量梯度，得到梯度值,變量
            gradients, _ = tf.clip_by_global_norm(gradients, pm.clip)
            # 對g進(jìn)行l(wèi)2正則化計(jì)算阳藻，比較其與clip的值打月，如果l2后的值更大外臂，讓梯度*(clip/l2_g),得到新梯度
            self.optimizer = optimizer.apply_gradients(zip(gradients, variables), global_step=self.global_step)
           # global_step 自動+1

accuracy

最后，計(jì)算模型的準(zhǔn)確度犀斋。

        with tf.name_scope('accuracy'):
            correct = tf.equal(self.predict, tf.argmax(self.input_y, 1))
            self.accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name='accuracy')

訓(xùn)練模型

global_step為100的倍數(shù)時(shí)贝乎，輸出當(dāng)前batch的訓(xùn)練loss,訓(xùn)練accuracy,在測試batch上的loss,accuracy；并每迭代完一次叽粹，保存一次模型糕非。

    x_train, y_train = process(pm.train_filename, wordid, cat_to_id, max_length=300)
    x_test, y_test = process(pm.test_filename, wordid, cat_to_id, max_length=300)
    for epoch in range(pm.num_epochs):
        print('Epoch:', epoch+1)
        num_batchs = int((len(x_train) - 1) / pm.batch_size) + 1
        batch_train = batch_iter(x_train, y_train, batch_size=pm.batch_size)
        for x_batch, y_batch in batch_train:
            real_seq_len = seq_length(x_batch)
            feed_dict = model.feed_data(x_batch, y_batch, real_seq_len, pm.keep_prob)
            _, global_step, _summary, train_loss, train_accuracy = session.run([model.optimizer, model.global_step, merged_summary,
                                                                                model.loss, model.accuracy], feed_dict=feed_dict)
            if global_step % 100 == 0:
                test_loss, test_accuracy = model.test(session, x_test, y_test)
                print('global_step:', global_step, 'train_loss:', train_loss, 'train_accuracy:', train_accuracy,
                      'test_loss:', test_loss, 'test_accuracy:', test_accuracy)

            if global_step % num_batchs == 0:
                print('Saving Model...')
                saver.save(session, save_path, global_step=global_step)

訓(xùn)練結(jié)果

由于小霸王運(yùn)行非常吃力，因此只進(jìn)行了3次迭代球榆。但從迭代的效果來看，結(jié)果很理想禁筏。在訓(xùn)練集的batch中最好達(dá)到100%持钉，同時(shí)測試集達(dá)到100%準(zhǔn)確。

驗(yàn)證模型

驗(yàn)證集有5000條語句篱昔，我用最后一次保存的模型每强，對5000條句子進(jìn)行預(yù)測，將預(yù)測的結(jié)果與原標(biāo)簽進(jìn)行對比州刽，得到驗(yàn)證集上的準(zhǔn)確率空执，結(jié)果表明在整個(gè)驗(yàn)證集上準(zhǔn)確達(dá)到97.7%，并輸出前10條語句穗椅，將預(yù)測結(jié)果與原結(jié)果進(jìn)行對比辨绊。

def val():

    pre_label = []
    label = []
    session = tf.Session()
    session.run(tf.global_variables_initializer())
    save_path = tf.train.latest_checkpoint('./checkpoints/Lstm_CNN')
    saver = tf.train.Saver()
    saver.restore(sess=session, save_path=save_path)

    val_x, val_y = process(pm.val_filename, wordid, cat_to_id, max_length=pm.seq_length)
    batch_val = batch_iter(val_x, val_y, batch_size=64)
    for x_batch, y_batch in batch_val:
        real_seq_len = seq_length(x_batch)
        feed_dict = model.feed_data(x_batch, y_batch, real_seq_len, 1.0)
        pre_lab = session.run(model.predict, feed_dict=feed_dict)
        pre_label.extend(pre_lab)
        label.extend(y_batch)
    return pre_label, label

驗(yàn)證結(jié)果

整個(gè)模型的流程，分析完畢匹表。因?qū)W識有限门坷，文中難免有描述不對的地方，請各位批評指正袍镀。