任務(wù)：

1. 卷積運算的定義休吠、動機(jī)（稀疏權(quán)重众弓、參數(shù)共享、等變表示）乓序。一維卷積運算和二維卷積運算寺酪。
2. 反卷積(tf.nn.conv2d_transpose)
3. 池化運算的定義、種類（最大池化替劈、平均池化等）寄雀、動機(jī)。
4. Text-CNN的原理陨献。
5. 利用Text-CNN模型來進(jìn)行文本分類盒犹。

文本分類實現(xiàn)數(shù)據(jù)集處理流程圖

• 數(shù)據(jù)處理步驟+每一步處理的目的如下圖所示：

  
  
  文本分類實現(xiàn)數(shù)據(jù)集處理流程圖
• 數(shù)據(jù)處理部分實現(xiàn)

1. 讀數(shù)據(jù)
   其中數(shù)據(jù)是已經(jīng)jiebe分詞+去停用詞后的結(jié)果

def read_file(path):
    with open(path, 'r', encoding="UTF-8") as f:
        data = []
        labels = []
        for line in f:
            if line.split('\t')[1] == '':
                continue
            data.append(line.split('\t')[0])
            labels.append(line.split('\t')[1])
    return data, labels
# 讀文件
data, labels = read_file('E:/task6/merge.txt')

2. 利用tokenizer將文字轉(zhuǎn)換為數(shù)字特征

• 將文字轉(zhuǎn)換為數(shù)字特征要將整個數(shù)據(jù)集放入，這樣保證訓(xùn)練集眨业、驗證集急膀、測試集文字編碼一致
• 其中同時返回對應(yīng)單詞和數(shù)字的映射關(guān)系，以便在轉(zhuǎn)化詞向量過程中獲取詞向量列表

def get_tokenizer(data):
    tokenizer = Tokenizer(num_words=None)
    tokenizer.fit_on_texts(data)
    text_seq = tokenizer.texts_to_sequences(data)
    # 對應(yīng)的單詞和數(shù)字的映射關(guān)系
    word_index = tokenizer.word_index 
    index_word = tokenizer.index_word
    return word_index, index_word, text_seq

# 利用tokenizer將文字轉(zhuǎn)換為數(shù)字特征
word_index, index_word, X_train_text_seq = get_tokenizer(data)

3. FastText Embedding

def get_fasttext_voc(data, word_index):
    '''
        利用fasttext獲取詞向量
    '''
    fasttext_model = FastText([data], 
                              size=FASTEXT_SIZE,         # 需要學(xué)習(xí)的嵌入大小(默認(rèn)為100)
                              window=3,         # 上下文窗口大小(默認(rèn)5)
                              min_count=1,      # 忽略出現(xiàn)次數(shù)低于此值的單詞(默認(rèn)值5)
                              iter=10,          # epoch(默認(rèn)5)
                              min_n = 3,        # char ngram的最小長度(默認(rèn)值3)
                              max_n = 6,        # char ngram的最大長度(默認(rèn)值6)
                              word_ngrams = 0)  # 如果為1龄捡，使用子單詞(n-grams)信息豐富單詞向量卓嫂。如果是0，這就相當(dāng)于Word2Vec
    # 獲取詞向量列表
    wordEmbedding = np.zeros((len(word_index) + 1, FASTEXT_SIZE))
    for word, i in word_index.items():
        if word in fasttext_model:
            wordEmbedding[i] = fasttext_model[word]   
    return wordEmbedding

# fasttext embedding
wordEmbedding = get_fasttext_voc(data, word_index)

4. 讓每個文本長度相同

# 讓每個文本長度相同
X_train_text_seq = pad_sequences(X_train_text_seq, maxlen=LEN_WORDS, padding='post', truncating='post')

5. 劃分?jǐn)?shù)據(jù)集

# 劃分?jǐn)?shù)據(jù)集
X_train, X_test, y_train, y_test = train_test_split(X_train_text_seq, 
                                                    labels,
                                                    test_size = 0.2,
                                                    random_state=33)

6. 對類別變量編碼

def get_label_num(data):
    data = [i.replace('\n', '') for i in data]
    y_labels = list(set(data))
    le = preprocessing.LabelEncoder()
    le.fit(y_labels)
    num_labels = len(y_labels)
    data_labels = to_categorical([le.transform([x])[0] for x in data], num_labels)
    return data_labels

# 對類別變量編碼
y_train_label = get_label_num(y_train)
y_test_label = get_label_num(y_test)

CNN

實現(xiàn)基礎(chǔ)版CNN：

LeNet-5 是卷積神經(jīng)網(wǎng)絡(luò)的作者Yann LeCun用于MNIST識別任務(wù)提出的模型聘殖。模型很簡單晨雳，就是卷積池化層的堆疊，最后加上幾層全連接層就斤。將其運用在文本分類任務(wù)中悍募。
其中模型結(jié)構(gòu)如下所示：

實現(xiàn)過程如下：

def model_CNN(X_train, X_test, y_train, y_test, index_word, embedding_matrix):
    '''
        模型結(jié)構(gòu)：
            嵌入層：將詞編碼數(shù)據(jù)轉(zhuǎn)換為固定尺寸的稠密向量，同時把詞向量矩陣加載到Embedding層
            卷積池化層：256 * 3 * 3
            卷積池化層：128 * 3 * 3
            Dropout：0.1
            BatchNormalization: 批量標(biāo)準(zhǔn)化層洋机，在每一個批次的數(shù)據(jù)中標(biāo)準(zhǔn)化前一層的激活項
            全連接：256,'relu'
            分類器：2坠宴， 'softmax'
    '''
    model = Sequential()
    model.add(Embedding(len(index_word) + 1,             # imput_dim: 詞匯表大小，即最大整數(shù)index+1
                        FASTEXT_SIZE,                    # output_dim: 詞向量的維度
                        weights=[embedding_matrix],      # 加載詞向量矩陣
                        input_length=LEN_WORDS,           # input_lenth: 輸入序列的長度
                        trainable=False))                # 設(shè)置trainable=False使得這個編碼層不可再訓(xùn)練
    # filters:輸出空間的維度绷旗，kernel_size: 1D 卷積窗口的長度喜鼓，padding:"same" 表示填充輸入以使輸出具有與原始輸入相同的長度
    model.add(Conv1D(256, 3, padding='same'))   
    # pool_size:最大池化的窗口大小, strides:作為縮小比例的因數(shù)
    model.add(MaxPooling1D(3, 3, padding='same'))
    model.add(Conv1D(128, 3, padding='same'))
    model.add(MaxPooling1D(3, 3, padding='same'))
    model.add(Conv1D(64, 3, padding='same'))
    
    model.add(Flatten())
    # rate: 在 0 和 1 之間浮動副砍。需要丟棄的輸入比例
    model.add(Dropout(0.1))
    model.add(BatchNormalization())
    # units: 正整數(shù)，輸出空間維度
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.1))
    model.add(Dense(2, activation='softmax'))
    # 配置訓(xùn)練模型
    model.compile(loss='categorical_crossentropy',          # 表示目標(biāo)應(yīng)該是分類格式的
                  optimizer='adam',                         # 隨機(jī)優(yōu)化的一種方法
                  metrics=['accuracy']                      # 模型評估標(biāo)準(zhǔn)
                  )
    # 給定數(shù)量的迭代訓(xùn)練模型
    model.summary()
    model.fit(X_train, y_train, 
              batch_size=32, 
              epochs=15, 
              validation_data=(X_test, y_test))  

Text-CNN

1. 原理

Yoon Kim在2014年 “Convolutional Neural Networks for Sentence Classification” 論文中提出TextCNN（利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行分類的算法）論文翻譯版庄岖，其中網(wǎng)絡(luò)結(jié)構(gòu)如下所示：

假設(shè)我們有一些句子需要對其進(jìn)行分類豁翎。句子中每個詞是由n維詞向量組成的，也就是說輸入矩陣大小為m*n隅忿，其中m為句子長度心剥。CNN需要對輸入樣本進(jìn)行卷積操作，對于文本數(shù)據(jù)背桐，filter不再橫向滑動优烧，僅僅是向下移動，有點類似于N-gram在提取詞與詞間的局部相關(guān)性链峭。圖中共有三種步長策略畦娄，分別是2,3,4，每個步長都有兩個filter（實際訓(xùn)練時filter數(shù)量會很多）弊仪。在不同詞窗上應(yīng)用不同filter熙卡，最終得到6個卷積后的向量。然后對每一個向量進(jìn)行最大化池化操作并拼接各個池化值励饵，最終得到這個句子的特征表示驳癌，將這個句子向量丟給分類器進(jìn)行分類，至此完成整個流程役听。
其中每個層的作用喂柒，參照：https://blog.csdn.net/asialee_bird/article/details/88813385

模型結(jié)構(gòu)如下所示：

TextCNN網(wǎng)絡(luò)結(jié)構(gòu)

實現(xiàn)過程如下：

def model_TextCNN(X_train, X_test, y_train, y_test, index_word, embedding_matrix):
    '''
        模型結(jié)構(gòu)：
            詞嵌入，
            卷積池化 * 3：256 * 3 * 4
            拼接三個模型的輸出向量禾嫉，
            全連接灾杰，
            Dropout，
            全連接
    '''
    # shape: 一個尺寸元組（整數(shù)）表明期望的輸入是按批次的LEN_WORDS維向量
    main_input = Input(shape=(LEN_WORDS, ), dtype='float32')
    embed = Embedding(len(index_word) + 1,             
                        FASTEXT_SIZE,                    
                        weights=[embedding_matrix],      
                        input_length=LEN_WORDS,           
                        trainable=False)(main_input)
    # 詞窗大小分別為3熙参，4艳吠，5
    # strides指明卷積的步長
    cnn1 =  Conv1D(256, 3, padding='same', strides=1, activation='relu')(embed)
    cnn1 = MaxPooling1D(pool_size=4)(cnn1)
    cnn2 =  Conv1D(256, 4, padding='same', strides=1, activation='relu')(embed)
    cnn2 = MaxPooling1D(pool_size=4)(cnn2)
    cnn3 =  Conv1D(256, 5, padding='same', strides=1, activation='relu')(embed)
    cnn3 = MaxPooling1D(pool_size=4)(cnn3)  
    # 合并三個模型的輸出向量
    cnn = concatenate([cnn1,cnn2,cnn3], axis=-1)                 
    flat = Flatten()(cnn)
    drop = Dropout(0.1)(flat)
    main_output = Dense(2, activation='softmax')(drop)
    model = Model(inputs=main_input, output=main_output)
    # 配置訓(xùn)練模型
    model.compile(loss='categorical_crossentropy',          # 表示目標(biāo)應(yīng)該是分類格式的
                  optimizer='adam',                         # 隨機(jī)優(yōu)化的一種方法
                  metrics=['accuracy']                      # 模型評估標(biāo)準(zhǔn)
                  )
    # 給定數(shù)量的迭代訓(xùn)練模型
    model.summary()
    model.fit(X_train, y_train, 
              batch_size=32, 
              epochs=15, 
              validation_data=(X_test, y_test))

完整代碼見：github
參考資料：

• TextCNN文本分類（keras實現(xiàn)）