Actionable and Political Text Classification using Word Embeddings and LSTM
Rao A, Spasojevic N. Actionable and Political Text Classification using Word Embeddings and LSTM[J]. arXiv preprint arXiv:1607.02501, 2016.
關(guān)鍵詞
文本分類(lèi)；社交媒體愉豺；深度學(xué)習(xí)昭殉；神經(jīng)網(wǎng)絡(luò)贝奇；LSTM模型绣版；可行動(dòng)性吻贿；政治
目標(biāo)問(wèn)題
在文本分類(lèi)領(lǐng)域撤奸，大量的研究是關(guān)于情感挖掘問(wèn)題啸驯，而其他形式的文本分類(lèi)則研究得相對(duì)較少。在一部分應(yīng)用場(chǎng)景下英上，只獲取文本的情感分類(lèi)不足以提供充分的信息來(lái)滿足應(yīng)用需求炭序。論文考慮使用基于應(yīng)用上下文標(biāo)準(zhǔn)的文本分類(lèi)。其中應(yīng)用的技術(shù)包括：詞嵌入和長(zhǎng)短期記憶人工神級(jí)網(wǎng)絡(luò)苍日。具體應(yīng)用為文本可行動(dòng)性分類(lèi)和政治傾向分類(lèi)惭聂。
論文主要貢獻(xiàn)
詞嵌入已經(jīng)被證明是文本語(yǔ)義特征提取的有效工具，LSTM網(wǎng)絡(luò)能有效完成與文本序列有關(guān)的任務(wù)相恃。論文將兩者結(jié)合來(lái)解決基于上下文的文本分類(lèi)問(wèn)題辜纲。
方法與模型
預(yù)處理
輸入的信息被分詞（tokenized）后作為神經(jīng)網(wǎng)絡(luò)的輸入。每一個(gè)詞例（token）的詞頻作為其索引。詞頻排名前V的詞例組成詞匯庫(kù)侨歉。每一條信息可以被轉(zhuǎn)化為詞頻索引序列屋摇。論文選擇一個(gè)最大允許長(zhǎng)度作為每一個(gè)索引序列的固定長(zhǎng)度揩魂，如果索引序列實(shí)際長(zhǎng)度小于最大允許長(zhǎng)度幽邓，用數(shù)字0補(bǔ)充多余的索引。
神經(jīng)網(wǎng)絡(luò)架構(gòu)
遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks火脉，RNNs） 是神經(jīng)網(wǎng)絡(luò)的一類(lèi)牵舵。與傳統(tǒng)升降網(wǎng)絡(luò)不同的是，RNNs使用一種具有內(nèi)部狀態(tài)倦挂、能保存前向事件信息的單元（unit）畸颅，因此非常適用于需要處理連續(xù)信息的場(chǎng)合，比如文本處理方援。
傳統(tǒng)的RNNs不能保存長(zhǎng)期依賴(lài)關(guān)系没炒，長(zhǎng)短期記憶（Long Short Term Memory ，LSTM）神經(jīng)網(wǎng)絡(luò)則能避免這個(gè)問(wèn)題犯戏。
論文使用的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用了詞嵌入和LSTM單元實(shí)現(xiàn)基于上下文的文本分類(lèi)送火，具體的神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)如下：
嵌入層
網(wǎng)絡(luò)的第一層是嵌入層。嵌入層的目的是建立離散詞匯庫(kù)中的詞語(yǔ)到低維向量空間的映射先匪。這種詞匯的分布式表示在建立概念之間的關(guān)系上具有極大優(yōu)勢(shì)种吸。通過(guò)嵌入層，實(shí)現(xiàn)了文本特征的自動(dòng)提取呀非，無(wú)需手動(dòng)定義特征坚俗。
LSTM層
網(wǎng)絡(luò)的第二層是LSTM層。LSTM層由若干個(gè)LSTM單元組成岸裙。一個(gè)LSTM單元相當(dāng)于一個(gè)記憶細(xì)胞猖败，由四部分組成：一個(gè)輸入門(mén)，一個(gè)一個(gè)自循環(huán)連接降允，一個(gè)遺忘門(mén)以及一個(gè)輸出門(mén)恩闻。
退出層
退出（Dropout）是神經(jīng)網(wǎng)絡(luò)中避免過(guò)擬合的一種調(diào)節(jié)機(jī)制，通過(guò)隨機(jī)中止部分神經(jīng)單元來(lái)避免共同適應(yīng)拟糕。
充分連接層
充分連接層中判呕，上一層所有的激活都充分連接。這一層用來(lái)學(xué)習(xí)高層次特征間的非線性結(jié)合送滞。
損失層
這一層用來(lái)衡量預(yù)測(cè)結(jié)果和實(shí)際結(jié)果之間的偏差侠草。論文使用二維交叉熵作為損失函數(shù)。
實(shí)驗(yàn)一：可行動(dòng)性預(yù)測(cè)
可行性實(shí)驗(yàn)判斷是將消息劃分為可行動(dòng)的或者非可行動(dòng)的兩類(lèi)犁嗅。
數(shù)據(jù)集
數(shù)據(jù)集來(lái)源于一個(gè)社交媒體平臺(tái)边涕。該平臺(tái)幫助代理代表公司對(duì)顧客來(lái)信進(jìn)行回復(fù)。平臺(tái)整合了多個(gè)社交媒體平臺(tái)，包括Twitter功蜓、Facebook园爷、google+、品牌社區(qū)以及在線論壇式撼。
監(jiān)督訓(xùn)練的標(biāo)簽通過(guò)以下方式收集：如果代理對(duì)一條信息進(jìn)行了回復(fù)童社，這條信息則被標(biāo)注為可行動(dòng)的（Actionable），用1作為標(biāo)簽著隆；反之則為非可行動(dòng)性的（Non-Actionable）,用0作為標(biāo)簽扰楼。論文使用了從2014.11.1到2015.05.1為期6個(gè)月的數(shù)據(jù)，收集了同等數(shù)量的可行動(dòng)數(shù)據(jù)集和非可行動(dòng)性數(shù)據(jù)集美浦。80%的數(shù)據(jù)集用來(lái)訓(xùn)練弦赖，余下的20%用來(lái)測(cè)試。實(shí)驗(yàn)針對(duì)多種語(yǔ)言浦辨，因此每一種語(yǔ)言都包括一組訓(xùn)練集和測(cè)試集蹬竖。實(shí)驗(yàn)還包括一組包含所有語(yǔ)言的數(shù)據(jù)集。數(shù)據(jù)集大小隨語(yǔ)言變化流酬，最小的2.7萬(wàn)條信息（Farsi）到最大的850萬(wàn)條信息（English）币厕。混合語(yǔ)言數(shù)據(jù)集規(guī)模為170萬(wàn)康吵。
實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)結(jié)果分析
與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)比較劈榨，在Arabic以外的其他語(yǔ)種，論文使用的LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度上表現(xiàn)更佳晦嵌。具體結(jié)果見(jiàn)下表：
模型建立中的一個(gè)參數(shù)變量是詞表規(guī)模同辣，記作V。如table 1所示惭载，實(shí)驗(yàn)選取了V的兩個(gè)值旱函，20,000和100,000。從整體實(shí)驗(yàn)結(jié)果來(lái)看描滔，兩個(gè)詞表的測(cè)試集精度相差不大棒妨。這表明較小的數(shù)據(jù)集同樣能有效預(yù)測(cè)消息的可行動(dòng)性，并且模型訓(xùn)練時(shí)間開(kāi)銷(xiāo)更小含长。
實(shí)驗(yàn)二：政治傾向預(yù)測(cè)
第二個(gè)文本分類(lèi)任務(wù)是判斷與美國(guó)政治相關(guān)的政治傾向券腔。根據(jù)消息中表現(xiàn)出的觀點(diǎn)，將消息分為民主黨或者共和黨拘泞。
數(shù)據(jù)集
數(shù)據(jù)收取方式：根據(jù)twitter上其他用戶創(chuàng)建的twitter 名單纷纫，選取Twitter上政治傾向明確的用戶。收集這些用戶從2015.10.12到2016.1.12為期三個(gè)月發(fā)布的信息陪腌。如果是民主黨辱魁，則標(biāo)記為0烟瞧，如果是共和黨則標(biāo)記為1。訓(xùn)練集和測(cè)試集的比例為8:2染簇，規(guī)模分別為336,000和84,000参滴。
訓(xùn)練與評(píng)估
使用與第一個(gè)實(shí)驗(yàn)相同的神將網(wǎng)絡(luò)模型（嵌入層和LSTM層各有128個(gè)單元），得到的結(jié)果為：訓(xùn)練集的精度為88.82%锻弓，測(cè)試集的精度為87.57%砾赔。
模型參數(shù)對(duì)訓(xùn)練結(jié)果的影響
嵌入層、LSTM層的單元數(shù)變化對(duì)模型精度的影響參考Figure 2弥咪。Figure 2(a)顯示當(dāng)LSTM為固定64個(gè)單元時(shí)过蹂，模型精度隨嵌入層單元數(shù)量的變化情況；Figure 2(b)顯示當(dāng)嵌入層為固定128個(gè)單元時(shí)聚至，模型精度隨LSTM單元數(shù)量的變化情況；Figure 3(b)顯示當(dāng)LSTM層和嵌入層單元數(shù)量同時(shí)增長(zhǎng)時(shí)本橙，模型精度的變化情況扳躬。
優(yōu)化器（optimizers）:Adam優(yōu)化器精度最高，為87.57%甚亭；其次是Adagrad贷币，為87.12%;RM-Sprop,87.06%
批規(guī)模（batch size）:較小的批規(guī)模會(huì)使模型精度稍微提高，但較大的批則使模型收斂的更快亏狰。實(shí)驗(yàn)結(jié)果表明役纹，當(dāng)批大小為64時(shí)，模型精度達(dá)到87.57%暇唾，并且相對(duì)收斂較快促脉。
激活函數(shù)（activation）：使用sigmoid激活函數(shù)比tanh函數(shù)在準(zhǔn)確度上提高了0.5%。
從Figure2可以看出策州，模型精度隨著LSTM層和嵌入層單元數(shù)量增加呈現(xiàn)增長(zhǎng)趨勢(shì)瘸味，但是關(guān)于參數(shù)如何選擇仍然是一個(gè)開(kāi)放問(wèn)題。但Figure2表明够挂，隨著參數(shù)變化旁仿，模型精度在一個(gè)較小的區(qū)間浮動(dòng)，變化總體相對(duì)較小孽糖。另外枯冈，使用規(guī)模較小的網(wǎng)絡(luò)在訓(xùn)練時(shí)間和內(nèi)存限制上存在優(yōu)勢(shì)。
