任務(wù):
- 卷積運算的定義休吠、動機(jī)(稀疏權(quán)重众弓、參數(shù)共享、等變表示)乓序。一維卷積運算和二維卷積運算寺酪。
- 反卷積(tf.nn.conv2d_transpose)
- 池化運算的定義、種類(最大池化替劈、平均池化等)寄雀、動機(jī)。
- Text-CNN的原理陨献。
- 利用Text-CNN模型來進(jìn)行文本分類盒犹。
文本分類實現(xiàn)數(shù)據(jù)集處理流程圖
-
數(shù)據(jù)處理步驟+每一步處理的目的如下圖所示:
文本分類實現(xiàn)數(shù)據(jù)集處理流程圖 - 數(shù)據(jù)處理部分實現(xiàn)
- 讀數(shù)據(jù)
其中數(shù)據(jù)是已經(jīng)jiebe分詞+去停用詞后的結(jié)果
def read_file(path):
with open(path, 'r', encoding="UTF-8") as f:
data = []
labels = []
for line in f:
if line.split('\t')[1] == '':
continue
data.append(line.split('\t')[0])
labels.append(line.split('\t')[1])
return data, labels
# 讀文件
data, labels = read_file('E:/task6/merge.txt')
- 利用tokenizer將文字轉(zhuǎn)換為數(shù)字特征
- 將文字轉(zhuǎn)換為數(shù)字特征要將整個數(shù)據(jù)集放入,這樣保證訓(xùn)練集眨业、驗證集急膀、測試集文字編碼一致
- 其中同時返回對應(yīng)單詞和數(shù)字的映射關(guān)系,以便在轉(zhuǎn)化詞向量過程中獲取詞向量列表
def get_tokenizer(data):
tokenizer = Tokenizer(num_words=None)
tokenizer.fit_on_texts(data)
text_seq = tokenizer.texts_to_sequences(data)
# 對應(yīng)的單詞和數(shù)字的映射關(guān)系
word_index = tokenizer.word_index
index_word = tokenizer.index_word
return word_index, index_word, text_seq
# 利用tokenizer將文字轉(zhuǎn)換為數(shù)字特征
word_index, index_word, X_train_text_seq = get_tokenizer(data)
- FastText Embedding
def get_fasttext_voc(data, word_index):
'''
利用fasttext獲取詞向量
'''
fasttext_model = FastText([data],
size=FASTEXT_SIZE, # 需要學(xué)習(xí)的嵌入大小(默認(rèn)為100)
window=3, # 上下文窗口大小(默認(rèn)5)
min_count=1, # 忽略出現(xiàn)次數(shù)低于此值的單詞(默認(rèn)值5)
iter=10, # epoch(默認(rèn)5)
min_n = 3, # char ngram的最小長度(默認(rèn)值3)
max_n = 6, # char ngram的最大長度(默認(rèn)值6)
word_ngrams = 0) # 如果為1龄捡,使用子單詞(n-grams)信息豐富單詞向量卓嫂。如果是0,這就相當(dāng)于Word2Vec
# 獲取詞向量列表
wordEmbedding = np.zeros((len(word_index) + 1, FASTEXT_SIZE))
for word, i in word_index.items():
if word in fasttext_model:
wordEmbedding[i] = fasttext_model[word]
return wordEmbedding
# fasttext embedding
wordEmbedding = get_fasttext_voc(data, word_index)
- 讓每個文本長度相同
# 讓每個文本長度相同
X_train_text_seq = pad_sequences(X_train_text_seq, maxlen=LEN_WORDS, padding='post', truncating='post')
- 劃分?jǐn)?shù)據(jù)集
# 劃分?jǐn)?shù)據(jù)集
X_train, X_test, y_train, y_test = train_test_split(X_train_text_seq,
labels,
test_size = 0.2,
random_state=33)
- 對類別變量編碼
def get_label_num(data):
data = [i.replace('\n', '') for i in data]
y_labels = list(set(data))
le = preprocessing.LabelEncoder()
le.fit(y_labels)
num_labels = len(y_labels)
data_labels = to_categorical([le.transform([x])[0] for x in data], num_labels)
return data_labels
# 對類別變量編碼
y_train_label = get_label_num(y_train)
y_test_label = get_label_num(y_test)
CNN
實現(xiàn)基礎(chǔ)版CNN:
LeNet-5 是卷積神經(jīng)網(wǎng)絡(luò)的作者Yann LeCun用于MNIST識別任務(wù)提出的模型聘殖。模型很簡單晨雳,就是卷積池化層的堆疊,最后加上幾層全連接層就斤。將其運用在文本分類任務(wù)中悍募。
其中模型結(jié)構(gòu)如下所示:
實現(xiàn)過程如下:
def model_CNN(X_train, X_test, y_train, y_test, index_word, embedding_matrix):
'''
模型結(jié)構(gòu):
嵌入層:將詞編碼數(shù)據(jù)轉(zhuǎn)換為固定尺寸的稠密向量,同時把詞向量矩陣加載到Embedding層
卷積池化層:256 * 3 * 3
卷積池化層:128 * 3 * 3
Dropout:0.1
BatchNormalization: 批量標(biāo)準(zhǔn)化層洋机,在每一個批次的數(shù)據(jù)中標(biāo)準(zhǔn)化前一層的激活項
全連接:256,'relu'
分類器:2坠宴, 'softmax'
'''
model = Sequential()
model.add(Embedding(len(index_word) + 1, # imput_dim: 詞匯表大小,即最大整數(shù)index+1
FASTEXT_SIZE, # output_dim: 詞向量的維度
weights=[embedding_matrix], # 加載詞向量矩陣
input_length=LEN_WORDS, # input_lenth: 輸入序列的長度
trainable=False)) # 設(shè)置trainable=False使得這個編碼層不可再訓(xùn)練
# filters:輸出空間的維度绷旗,kernel_size: 1D 卷積窗口的長度喜鼓,padding:"same" 表示填充輸入以使輸出具有與原始輸入相同的長度
model.add(Conv1D(256, 3, padding='same'))
# pool_size:最大池化的窗口大小, strides:作為縮小比例的因數(shù)
model.add(MaxPooling1D(3, 3, padding='same'))
model.add(Conv1D(128, 3, padding='same'))
model.add(MaxPooling1D(3, 3, padding='same'))
model.add(Conv1D(64, 3, padding='same'))
model.add(Flatten())
# rate: 在 0 和 1 之間浮動副砍。需要丟棄的輸入比例
model.add(Dropout(0.1))
model.add(BatchNormalization())
# units: 正整數(shù),輸出空間維度
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.1))
model.add(Dense(2, activation='softmax'))
# 配置訓(xùn)練模型
model.compile(loss='categorical_crossentropy', # 表示目標(biāo)應(yīng)該是分類格式的
optimizer='adam', # 隨機(jī)優(yōu)化的一種方法
metrics=['accuracy'] # 模型評估標(biāo)準(zhǔn)
)
# 給定數(shù)量的迭代訓(xùn)練模型
model.summary()
model.fit(X_train, y_train,
batch_size=32,
epochs=15,
validation_data=(X_test, y_test))
Text-CNN
- 原理
Yoon Kim在2014年 “Convolutional Neural Networks for Sentence Classification” 論文中提出TextCNN(利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行分類的算法)論文翻譯版庄岖,其中網(wǎng)絡(luò)結(jié)構(gòu)如下所示:
假設(shè)我們有一些句子需要對其進(jìn)行分類豁翎。句子中每個詞是由n維詞向量組成的,也就是說輸入矩陣大小為m*n隅忿,其中m為句子長度心剥。CNN需要對輸入樣本進(jìn)行卷積操作,對于文本數(shù)據(jù)背桐,filter不再橫向滑動优烧,僅僅是向下移動,有點類似于N-gram在提取詞與詞間的局部相關(guān)性链峭。圖中共有三種步長策略畦娄,分別是2,3,4,每個步長都有兩個filter(實際訓(xùn)練時filter數(shù)量會很多)弊仪。在不同詞窗上應(yīng)用不同filter熙卡,最終得到6個卷積后的向量。然后對每一個向量進(jìn)行最大化池化操作并拼接各個池化值励饵,最終得到這個句子的特征表示驳癌,將這個句子向量丟給分類器進(jìn)行分類,至此完成整個流程役听。
其中每個層的作用喂柒,參照:https://blog.csdn.net/asialee_bird/article/details/88813385
模型結(jié)構(gòu)如下所示:
TextCNN網(wǎng)絡(luò)結(jié)構(gòu)
實現(xiàn)過程如下:
def model_TextCNN(X_train, X_test, y_train, y_test, index_word, embedding_matrix):
'''
模型結(jié)構(gòu):
詞嵌入,
卷積池化 * 3:256 * 3 * 4
拼接三個模型的輸出向量禾嫉,
全連接灾杰,
Dropout,
全連接
'''
# shape: 一個尺寸元組(整數(shù))表明期望的輸入是按批次的LEN_WORDS維向量
main_input = Input(shape=(LEN_WORDS, ), dtype='float32')
embed = Embedding(len(index_word) + 1,
FASTEXT_SIZE,
weights=[embedding_matrix],
input_length=LEN_WORDS,
trainable=False)(main_input)
# 詞窗大小分別為3熙参,4艳吠,5
# strides指明卷積的步長
cnn1 = Conv1D(256, 3, padding='same', strides=1, activation='relu')(embed)
cnn1 = MaxPooling1D(pool_size=4)(cnn1)
cnn2 = Conv1D(256, 4, padding='same', strides=1, activation='relu')(embed)
cnn2 = MaxPooling1D(pool_size=4)(cnn2)
cnn3 = Conv1D(256, 5, padding='same', strides=1, activation='relu')(embed)
cnn3 = MaxPooling1D(pool_size=4)(cnn3)
# 合并三個模型的輸出向量
cnn = concatenate([cnn1,cnn2,cnn3], axis=-1)
flat = Flatten()(cnn)
drop = Dropout(0.1)(flat)
main_output = Dense(2, activation='softmax')(drop)
model = Model(inputs=main_input, output=main_output)
# 配置訓(xùn)練模型
model.compile(loss='categorical_crossentropy', # 表示目標(biāo)應(yīng)該是分類格式的
optimizer='adam', # 隨機(jī)優(yōu)化的一種方法
metrics=['accuracy'] # 模型評估標(biāo)準(zhǔn)
)
# 給定數(shù)量的迭代訓(xùn)練模型
model.summary()
model.fit(X_train, y_train,
batch_size=32,
epochs=15,
validation_data=(X_test, y_test))
完整代碼見:github
參考資料: