論文來(lái)源：Lai, S., Xu, L., Liu, K., & Zhao, J. (2015, January). Recurrent Convolutional Neural Networks for Text Classification. In AAAI (Vol. 333, pp. 2267-2273). 下載戳這里哦
參考文章：https://blog.csdn.net/rxt2012kc/article/details/73742362
一、概述
?提出了一種可以利用單詞的上下文信息的雙向循環(huán)結(jié)構(gòu)進(jìn)行文本分類闯冷，命名為RCNN網(wǎng)絡(luò)顿乒，它可以在時(shí)間復(fù)雜度為O(n)的前提下售躁，提升文本分類的準(zhǔn)確率
論文中提出RCNN可以較均勻的利用單詞的上下文信息，既可以緩解在RNN中后面的單詞比前面的單詞影響力更大的缺點(diǎn)苍蔬，也不需要像CNN一樣需要通過(guò)窗口大小來(lái)設(shè)定對(duì)上下文的依賴長(zhǎng)度。
二、網(wǎng)絡(luò)結(jié)構(gòu)
?可以從圖片中看到蜘醋，每一個(gè)單詞的embedding方式主要有3個(gè)部分concat組成：left context ;單詞本身的embedding;righ context，w代表單詞咏尝。
這里面單詞本身的embedding即e(wi)是压语，使用了Skip-gram的方法進(jìn)行預(yù)訓(xùn)練，具體怎么訓(xùn)練的沒(méi)有看懂emmmmm...
?其中：
f代表一個(gè)非線性的激活函數(shù)编检，cl 融合了當(dāng)前單詞前面的單詞信息,cr融合的是單詞后面的信息胎食，由于每一個(gè)xi都是由這種編碼方式來(lái)的，可以做到盡可能遠(yuǎn)的把上下文信息融合到一起允懂，可以做長(zhǎng)距離依賴的預(yù)測(cè)厕怜。
?接下來(lái)把xi后套一個(gè)mlp層加上一個(gè)激活函數(shù)就得到了y(2):
這個(gè)地方使用了tanh作為激活函數(shù)，對(duì)于這個(gè)地方使用tanh是否具有特殊性含義蕾总，是否換成其他的激活函數(shù)就不可以粥航，還沒(méi)有想太明白。但是可以看出這個(gè)y(2)代表的是這個(gè)單詞對(duì)于每種分類的評(píng)分向量生百。
?使用max pooling的方式得到y(3)递雀，即：
在y(3)后面借一個(gè)mlp和softmax層得到最終的評(píng)分向量：
使用隨機(jī)梯度下降來(lái)對(duì)參數(shù)進(jìn)行更新。
二置侍、實(shí)驗(yàn)結(jié)果
論文中采用的數(shù)據(jù)集如下：
實(shí)驗(yàn)結(jié)果如下：
對(duì)比的算法包括傳統(tǒng)的文本分類方法映之，以及相關(guān)論文中提到的算法，然后對(duì)結(jié)果進(jìn)行了一系列的分析蜡坊，從分類準(zhǔn)確率和時(shí)間性能兩方面去分析算法的優(yōu)勢(shì)杠输。
