這一篇文章主要是記錄下自己閱讀《Convolutional Neural Networks for Sentence Classification》這篇文章思路的一個(gè)整理蛋欣。這篇文章也可以算是CNN用于文本分類的開山之作了拇砰，盡管第一個(gè)使用CNN進(jìn)行文本分類的不是Yoon Kim，但是Kim在這篇文章里提出來不少的方法唱捣，并且調(diào)參的過程也很詳細(xì)，這些是我們應(yīng)該學(xué)習(xí)的番舆。
1：Introduction
這部分主要還是講了講前人使用CNN的一些工作贫橙，這部分暫且不提，主要思考的一個(gè)問題是為什么選用CNN畅姊，在這里論文里也沒有詳細(xì)講咒钟，我寫寫我的想法，如果不對(duì)若未，歡迎指教朱嘴。
我們傳統(tǒng)的分類器比如樸素貝葉斯和SVM這樣的，大多數(shù)將文本表示的方法是將其轉(zhuǎn)換為“詞袋模型”粗合，主要還是根據(jù)在文本中出現(xiàn)的詞頻來做的萍嬉，這樣也會(huì)導(dǎo)致詞與詞之間的序列信息丟失，我們分詞之后隙疚，句子本身相當(dāng)于切成一塊一塊壤追，詞和詞組合之后往往會(huì)有局部語意。這里一個(gè)重要的問題就是粒度和語意的矛盾供屉。如果粒度過大行冰，則太稀疏就跟強(qiáng)行使用N-gram一樣溺蕉，意義不大，粒度過小那么意思就不對(duì)了悼做。而使用CNN的話疯特， 通過卷積層之后，把每 k 個(gè)詞組合之后的語意放在一起贿堰，得到比較準(zhǔn)確的句向量辙芍。
2：模型輸入的數(shù)據(jù)格式
文章中模型的輸入的格式進(jìn)行了四種嘗試，然后進(jìn)行對(duì)比羹与，有以下四種：
CNN-rand: 所有的 word vector 都是隨機(jī)初始化的故硅，同時(shí)當(dāng)做訓(xùn)練過程中優(yōu)化的參數(shù)；
CNN-static: 所有的 word vector 直接使用 Word2Vec 工具得到的結(jié)果纵搁，并且是固定不變的吃衅；
CNN-non-static: 所有的 word vector 直接使用 Word2Vec 工具得到的結(jié)果，這些 word vector 也當(dāng)做是可優(yōu)化的參數(shù)腾誉，在訓(xùn)練過程中被 Fine tuned徘层；
CNN-multichannel: CNN-static 和 CNN-non-static 的混合版本，即兩種類型的輸入利职；
3：模型介紹
這個(gè)模型結(jié)構(gòu)還是比較簡單的趣效，主要目的應(yīng)該還是簡單計(jì)算吧.說說他的結(jié)構(gòu)：
模型的主要結(jié)構(gòu)：
輸入層+第一層卷積層+池化層+全連接+softmax層
輸入層
從圖上看，輸入層就是句子中詞語對(duì)應(yīng)的詞向量依次從上到下排列的猪贪，比如有n個(gè)詞跷敬，詞向量的維度是K，則這個(gè)矩陣就是n*k的矩陣热押。至于這個(gè)矩陣是靜態(tài)和動(dòng)態(tài)都可以西傀，這個(gè)我查了一些博客，其中有個(gè)解釋是說static是說詞向量的大小是固定不變的桶癣，non-static的意思是指通過反向傳播之后拥褂，產(chǎn)生的誤差導(dǎo)致詞向量發(fā)生fine tuned，對(duì)于未登錄的詞牙寞，這里padding一下饺鹃。
第一層卷積層
輸入層通過h*k的卷積核的卷積層之后得到列數(shù)為1的Feature Map,其中h表示縱向詞語的個(gè)數(shù)，k表示詞向量的維度间雀。
卷積之后通過激活函數(shù)f得到feature悔详。記為ci。它是由xi:i+h?1相鄰的 h 個(gè)詞語卷積得到的值雷蹂，再 activation 之后的值，也是當(dāng)前層的輸出杯道。
卷積之后的值：w?xi:i+h?1+b
輸出的 feature 值 ci=f(w?xi:i+h?1+b),也就是sentence embedding
窗口大蟹嘶汀：h
這樣之后责蝠，一個(gè) n 長度的sentence就有[x1:h，x2:h+1萎庭，x3:h+2霜医，…，xn?h+1:n]這些 word windows驳规，卷積后的結(jié)果就是 c = [c1,c2,…,cn?h+1]肴敛，維度為(1，n-h+1)
然后進(jìn)行池化 max pooling吗购，選出最重要的 feature医男。
pooling scheme可以根據(jù)句子的長度來選擇。
池化層
這里池化層說是用Max-over-time Pooling的方法捻勉，這種方法其實(shí)就是從之前的Feature Map中提取最大的值镀梭，我們?cè)谑褂米畲蟪鼗ǖ臅r(shí)候一般認(rèn)為池化層中提取的最大，一般是最具有代表意義的或者是最重要的踱启。最終提取出來成為一個(gè)一維向量报账。
全連接層+softmax層
池化之后的一維向量通過全連接的方式接入一個(gè)softmax層進(jìn)行分類，并且在全連接部分使用Dropout,減少過擬合埠偿。
最后的結(jié)果
從結(jié)果看
CNN-static較與CNN-rand好透罢，說明pre-training的word vector確實(shí)有較大的提升作用（這也難怪，因?yàn)閜re-training的word vector顯然利用了更大規(guī)模的文本數(shù)據(jù)信息）冠蒋；
CNN-non-static較于CNN-static大部分要好羽圃，說明適當(dāng)?shù)腇ine tune也是有利的，是因?yàn)槭沟胿ectors更加貼近于具體的任務(wù)浊服；
CNN-multichannel較于CNN-single在小規(guī)模的數(shù)據(jù)集上有更好的表現(xiàn)统屈，實(shí)際上CNN-multichannel體現(xiàn)了一種折中思想，即既不希望Fine tuned的vector距離原始值太遠(yuǎn)牙躺，但同時(shí)保留其一定的變化空間愁憔。
下面總結(jié)一下Ye Zhang等人基于Kim Y的模型做了大量的調(diào)參實(shí)驗(yàn)之后的結(jié)論（核心）
由于模型訓(xùn)練過程中的隨機(jī)性因素，如隨機(jī)初始化的權(quán)重參數(shù)孽拷，mini-batch吨掌，隨機(jī)梯度下降優(yōu)化算法等，會(huì)造成模型在數(shù)據(jù)集上的結(jié)果有一定的浮動(dòng)
詞向量是使用word2vec還是GloVe脓恕，對(duì)實(shí)驗(yàn)結(jié)果有一定的影響膜宋，具體哪個(gè)更好依賴于任務(wù)本身；
Filter的大小對(duì)模型性能有較大的影響炼幔，并且Filter的參數(shù)應(yīng)該是可以更新的秋茫；
Feature Map的數(shù)量也有一定影響，但是需要兼顧模型的訓(xùn)練效率乃秀；
1-max pooling的方式已經(jīng)足夠好了肛著，相比于其他的pooling方式而言圆兵；
正則化的作用微乎其微。
調(diào)參建議
1：word2vec和Glove比單純的one-hot效果好的多（似乎沒毛彩嗷摺）
2：最優(yōu)的Filter的大小可以通過線性搜索確定殉农，但是過濾器的大小在1-10口味食用最佳。
3：Feature Map在100-600之間
4：激活函數(shù)tanh和Relu效果很好
5：最大池化效果就很不錯(cuò)了
6：適當(dāng)使用正則化手段局荚，比如調(diào)節(jié)dropout的概率
7：反復(fù)交叉驗(yàn)證檢驗(yàn)?zāi)Ｐ偷乃健?/p>
參考資料：
1：Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.
2：A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification Ye Zhang, Byron Wallace
