開篇
文章參考：http://www.reibang.com/p/8b78ac379e3a
文本分類是NLP中的一個(gè)重要方向凹蜂，它是智能問答锌历、情感分析的基礎(chǔ)。在未來自然語言處理的接觸嗜桌、學(xué)習(xí)中將持續(xù)在該方向上寫一些文章總結(jié)赴涵。
在前述的ATT-CNN中摔吏，參考了一篇文章是RNN-ATTENTION鸽嫂。在很早之前就對(duì)RNN有過一些了解但是知之甚少，概念也很不清楚征讲，本篇決定在實(shí)現(xiàn)RNN_ATTENTION的同時(shí)据某，再了解并理解下RNN。
RNN
http://www.reibang.com/p/8b78ac379e3a（RNN簡(jiǎn)介）
http://blog.sina.com.cn/s/blog_4eddfe990102x1li.html（實(shí)現(xiàn)一個(gè)RNN-cell）
https://blog.csdn.net/pnnngchg/article/details/84451037（輸入的維度與hiddensize诗箍？）
只說之前沒有理解到位的癣籽，RNN多用于處理序列數(shù)據(jù)，比如一句話等等滤祖。圖像也可以在某一維度上作為序列數(shù)據(jù)筷狼，只不過圖像具有天然的自編碼特性，無需再將任意序列中的數(shù)據(jù)做編碼匠童。下圖是RNN-cell的結(jié)構(gòu)埂材，它的輸入是序列中前一個(gè)隱藏狀態(tài)+該時(shí)刻的向量輸入。如何計(jì)算隱藏狀態(tài)汤求。首先俏险，將輸入和先前隱藏狀態(tài)組合以形成向量严拒。該向量現(xiàn)在具有關(guān)于當(dāng)前輸入和先前輸入的信息。向量經(jīng)過tanh函數(shù)竖独，輸出是新的隱藏狀態(tài)裤唠，或網(wǎng)絡(luò)的內(nèi)存。
LSTM
和RNN一樣的數(shù)據(jù)流程莹痢，區(qū)別就在于細(xì)胞內(nèi)的操作种蘸。LSTM-cell的結(jié)構(gòu)：遺忘門、輸入門竞膳、輸出門劈彪，細(xì)胞狀態(tài)。
https://www.cnblogs.com/AntonioSu/p/8798960.html（了解細(xì)節(jié)這篇文章）
遺忘門：
遺忘門決定了應(yīng)丟棄或保留哪些信息顶猜。來自先前隱藏狀態(tài)的信息和來自當(dāng)前輸入的信息通過sigmoid函數(shù)傳遞沧奴。值介于0和1之間，越接近0意味著忘記长窄，越接近1意味著要保持滔吠。
輸入門
輸入門要更新單元狀態(tài)，首先挠日，我們將先前的隱藏狀態(tài)和當(dāng)前輸入傳遞給sigmoid函數(shù)疮绷。這決定了通過將值轉(zhuǎn)換為0到1來更新哪些值：0表示不重要，1表示重要嚣潜。接著你還要將隱藏狀態(tài)和當(dāng)前輸入傳遞給tanh函數(shù)冬骚，以便在-1和1之間取值以幫助調(diào)節(jié)網(wǎng)絡(luò)。然后將tanh輸出與sigmoid輸出相乘懂算。sigmoid輸出將決定哪些信息對(duì)于輸出很重要只冻。
細(xì)胞狀態(tài)
現(xiàn)在我們應(yīng)該有足夠的信息來計(jì)算細(xì)胞狀態(tài)。首先计技，細(xì)胞狀態(tài)逐點(diǎn)乘以遺忘向量喜德。如果它乘以接近0的值，則有可能在單元狀態(tài)中丟棄垮媒。然后我們從輸入門獲取輸出并進(jìn)行逐點(diǎn)相加舍悯，將神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)的新值更新為細(xì)胞狀態(tài)中，這就給了我們新的細(xì)胞狀態(tài)睡雇。
輸出門
最后是輸出門萌衬，輸出門決定下一個(gè)隱藏狀態(tài)應(yīng)該是什么。請(qǐng)記住它抱，隱藏狀態(tài)包含有關(guān)先前輸入的信息秕豫，隱藏狀態(tài)也可用于預(yù)測(cè)。首先抗愁，我們將先前的隱藏狀態(tài)和當(dāng)前輸入傳遞給sigmoid函數(shù)馁蒂。然后我們將新修改的單元狀態(tài)傳遞給tanh函數(shù)呵晚。我們將tanh輸出與sigmoid輸出相乘，以確定隱藏狀態(tài)應(yīng)攜帶的信息沫屡，輸出的是隱藏狀態(tài)饵隙。然后將新的細(xì)胞狀態(tài)和新的隱藏狀態(tài)轉(zhuǎn)移到下一個(gè)時(shí)間步。
GRU
LSTM的變種沮脖，整體的實(shí)現(xiàn)比LSTM簡(jiǎn)單金矛，計(jì)算會(huì)少一些。
LSTM實(shí)現(xiàn)舉例
多層LSTM實(shí)現(xiàn)mnist分類
https://blog.csdn.net/jerr__y/article/details/61195257
GRU-ATTENTION實(shí)現(xiàn)文本分類
論文
Hierarchical Attention Networks for Document Classification
論文網(wǎng)址
https://www.aclweb.org/anthology/N16-1174/
論文解讀
摘要
用于文本分類勺届，分層注意力機(jī)制驶俊，詞級(jí)別和句子級(jí)別的注意力機(jī)制使用。
簡(jiǎn)單使用（詞注意力）
基于RNN-attention實(shí)現(xiàn)影評(píng)的情感分類免姿、文本分類
