1 簡(jiǎn)述

????在沒(méi)有監(jiān)督數(shù)據(jù)的時(shí)候，采用無(wú)監(jiān)督算法的方式可以計(jì)算兩句話的相似度球及，即通過(guò)一些因子粒竖，比如語(yǔ)序颅崩、詞性、共現(xiàn)詞比例等等進(jìn)行打分蕊苗，最后通過(guò)加權(quán)計(jì)算的方式得到最終的相似分值沿后，最終結(jié)果主要依賴因子即特征的提取和加權(quán)公式的設(shè)計(jì)，相關(guān)項(xiàng)目可以參考Kaggle Quora比賽華人第一名的解決方案朽砰，里面有一些優(yōu)秀的可借鑒特征尖滚。
????但是最終想要更好的效果必然要使用到有監(jiān)督的算法，而現(xiàn)有較好的技術(shù)便是TextCNN瞧柔。本文主要是整理捋順一下TextCNN的整個(gè)過(guò)程以及背后的一些原理漆弄，包括自己踩坑的點(diǎn)，還有Tensorflow的一些框架問(wèn)題造锅。

2 項(xiàng)目

????CNN做文本分類的項(xiàng)目及代碼可以參考: TextCNN

3 論文

????CNN做文本分類的論文可以參看: Convolutional Neural Networks for Sentence Classification

paper_models.png

models.png

4 代碼

????下面是一個(gè)標(biāo)準(zhǔn)的TextCNN的代碼：

# coding: utf-8

import tensorflow as tf
import warnings
warnings.filterwarnings("ignore")

class TCNNConfig(object):
    embedding_dim = 64  # 詞向量維度
    seq_length = 600  # 序列長(zhǎng)度
    num_classes = 10  # 類別數(shù)
    num_filters = 256  # 卷積核數(shù)目
    # kernel_sizes = [3, 4, 5]  # 卷積核尺寸
    kernel_sizes = 5 # 卷積核尺寸
    vocab_size = 5000  # 詞匯表達(dá)小
    hidden_dim = 128 # 全連接層神經(jīng)元
    dropout_keep_prob = 0.5  # dropout保留比例
    learning_rate = 1e-3  # 學(xué)習(xí)率
    batch_size = 64  # 每批訓(xùn)練大小
    num_epochs = 10  # 總迭代輪次
    print_per_batch = 100  # 每多少輪輸出一次結(jié)果
    save_per_batch = 10  # 每多少輪存入tensorboard

class TextCNN(object):
    def __init__(self, config):
        self.config = config
        # 三個(gè)待輸入的數(shù)據(jù)
        self.input_x = tf.placeholder(tf.int32, [None, self.config.seq_length], name='input_x')
        self.input_y = tf.placeholder(tf.float32, [None, self.config.num_classes], name='input_y')
        self.keep_prob = tf.placeholder(tf.float32, name='keep_prob')
        self.cnn()
    def cnn(self):
        # 詞向量映射
        with tf.device('/cpu:0'):
            embedding = tf.get_variable('embedding', [self.config.vocab_size, self.config.embedding_dim])
            embedding_inputs = tf.nn.embedding_lookup(embedding, self.input_x)

        with tf.name_scope("cnn"):
            # CNN layer
            conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, self.config.kernel_size, name='conv')
            # global max pooling layer
            gmp = tf.reduce_max(conv, reduction_indices=[1], name='gmp')

        '''
        for kernel_size in self.config.kernel_sizes:
            gmps = []
            with tf.name_scope("cnn-%s" % kernel_size):
                # CNN layer
                conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, kernel_size)
                # global max pooling layer
                gmp = tf.reduce_max(conv, reduction_indices=[1])
                gmps.append(gmp)
        gmp = tf.concat(values=gmps, name='last_pool_layer', axis=3)
        '''

        with tf.name_scope("score"):
            # 全連接層，后面接dropout以及relu激活
            fc1 = tf.layers.dense(gmp, self.config.hidden_dim, name='fc1')
            fc2 = tf.contrib.layers.dropout(fc1, self.keep_prob)
            fc = tf.nn.relu(fc2)

            # 分類器
            self.logits = tf.layers.dense(fc, self.config.num_classes, name='fc2')
            self.y_pred_cls = tf.argmax(tf.nn.softmax(self.logits), 1)  # 預(yù)測(cè)類別

        with tf.name_scope("optimize"):
            # 損失函數(shù)吧碾，交叉熵
            cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=self.logits, labels=self.input_y)
            self.loss = tf.reduce_mean(cross_entropy)
            # 優(yōu)化器
            self.optim = tf.train.AdamOptimizer(learning_rate=self.config.learning_rate).minimize(self.loss)

        with tf.name_scope("accuracy"):
            # 準(zhǔn)確率
            correct_pred = tf.equal(tf.argmax(self.input_y, 1), self.y_pred_cls)
            self.acc = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

????代碼中的TextCNN并沒(méi)有設(shè)置可變kernel_sizes凰盔，統(tǒng)一設(shè)置kernel_sizes=5。通過(guò)修改注釋代碼即可以實(shí)現(xiàn)可變kernel_sizes倦春。實(shí)驗(yàn)之后發(fā)現(xiàn)加入可變的kernel_sizes可以在實(shí)驗(yàn)的那個(gè)數(shù)據(jù)集上略微提升一點(diǎn)效果户敬，但是提升不大落剪，因?yàn)楣潭╧ernel_sizes=5效果就已經(jīng)很好了，具體對(duì)比可以看GitHub的對(duì)比尿庐，所以在新的數(shù)據(jù)集上可以實(shí)驗(yàn)對(duì)比兩種效果忠怖，kernel_sizes一般選2,3,4,5。
????另一個(gè)困擾我比較久的是數(shù)據(jù)傳輸問(wèn)題抄瑟，數(shù)據(jù)在傳送過(guò)程中的維度變化》财現(xiàn)在就基于以上代碼（tensorflow）捋順一下數(shù)據(jù)傳送過(guò)程中的維度變化。batch_size=64皮假，seq_length=600鞋拟，可得input_x (64, 600)；vocab_size=5000惹资，embedding_dim =64贺纲，可得embedding （5000, 64）；embedding_inputs （64, 600, 64）布轿；num_filters=256哮笆，kernel_size=5来颤，可得conv （64, 596, 256）汰扭；gmp （64, 256）；fc1 （64, 128）福铅；fc2（64, 128）萝毛，fc1到fc2只經(jīng)過(guò)一個(gè)dropout所以維度并沒(méi)有變化；fc（64, 128）滑黔，fu2到fc只經(jīng)過(guò)一個(gè)relu所以維度沒(méi)有變化笆包。之后就是進(jìn)行softmax操作了。

5 踩坑

???? - python2 對(duì)漢字真是太不友好了略荡，各種編碼問(wèn)題
???? - 盡量不要并聯(lián)太多and庵佣，不然速度會(huì)很慢，比如分詞的時(shí)候可以先通過(guò)詞長(zhǎng)過(guò)濾掉一部分汛兜，然后全部收集巴粪，最后再遍歷，篩掉停用詞粥谬。如果分詞的時(shí)候直接篩停用詞肛根，速度超級(jí)慢。
???? - 字符級(jí)和詞語(yǔ)級(jí)從當(dāng)前公開(kāi)數(shù)據(jù)集上對(duì)比漏策，效果相當(dāng)派哲，詞語(yǔ)級(jí)速度更快，但是需要預(yù)先分詞
???? - 目前還沒(méi)有實(shí)驗(yàn)預(yù)訓(xùn)練詞向量掺喻，未完待續(xù)芭届。储矩。。