Attention機(jī)制在時(shí)序模型中的應(yīng)用疑务，已經(jīng)被證明能夠提升模型的性能。本文參考《Inner Attention based Recurrent Neural Networks for Answer Selection》，該論文以時(shí)序模型輸出狀態(tài)設(shè)計(jì)Attention為基線（QA_LSTM_ATTENTION），提出了三種不同的內(nèi)部Attention設(shè)計(jì)方案和一種優(yōu)化方案。本文實(shí)現(xiàn)了論文中的兩種方案即IARNN-WORD和IARNN-GATE胳徽。
傳統(tǒng)的Attention機(jī)制被應(yīng)用于特征抽取器之后，例如QA_LSTM_ATTENTION爽彤。由于RNN算法用于處理時(shí)序特征的特點(diǎn)养盗，隱含狀態(tài)迭代更新，因此t時(shí)刻的狀態(tài)包含了從開始到t時(shí)刻的所有信息淫茵。當(dāng)我們加入問題的attention信息用于找出最有用的信息的時(shí)候爪瓜，往往靠近時(shí)序末端的特征因?yàn)榘酥暗乃行畔⒍菀妆惶暨x出來。綜上所述匙瘪，傳統(tǒng)的attention機(jī)制更加偏向于后面的狀態(tài)特征铆铆。
為了處理上述的偏差問題，作者考慮將attention加在特征抽取之前丹喻，即輸入層薄货。文章設(shè)計(jì)了四種不同的方案，本文挑選了其中的IARNN-WORD和IARNN-GAGE算法碍论。
其中IARNN-WORD算法結(jié)構(gòu)圖如下：
IARNN-WORD算法的改變主要來自于將attention的計(jì)算放在了答案特征抽取之前谅猾，避免出現(xiàn)傳統(tǒng)attention算法計(jì)算t時(shí)刻權(quán)值時(shí)，包含了之前時(shí)刻的特征信息鳍悠。算法最后對每個時(shí)刻的特征輸出求取平均來作為最后的特征（綜合考慮多個時(shí)刻的特征税娜，避免出現(xiàn)特征信息丟失，但是容易引入噪聲覆蓋信號特征）藏研，這里實(shí)現(xiàn)采用的是max-pooling敬矩，即將attention權(quán)值加在每個時(shí)刻的特征輸出（只拿主要信息，丟掉了其他的低頻特征和噪聲）蠢挡。
IARNN-WORD算法的實(shí)現(xiàn)較為直觀和簡單弧岳，文章還設(shè)計(jì)了另一種attention機(jī)制方法，即將attention的計(jì)算放在了GRU模塊的內(nèi)部（GRU算法的介紹參照這里）业踏，GRU模塊主要由兩個門函數(shù)控制信息的傳輸禽炬，文章通過將attention機(jī)制加入門函數(shù)中來影響時(shí)序信息的傳輸。其計(jì)算公式如下：
IARNN-GATE算法結(jié)構(gòu)如下：
IARNN-WORD算法實(shí)驗(yàn)步驟
1：本次實(shí)驗(yàn)采用insuranceQA數(shù)據(jù)勤家，你可以在這里獲得腹尖。實(shí)驗(yàn)之前首先對問題和答案按字切詞，然后采用word2vec對問題和答案進(jìn)行預(yù)訓(xùn)練（這里采用按字切詞的方式避免的切詞的麻煩伐脖，并且同樣能獲得較高的準(zhǔn)確率）桐臊。
2：由于本次實(shí)驗(yàn)采用固定長度的LSTM，因此需要對問題和答案進(jìn)行截?cái)啵ㄟ^長）或補(bǔ)充（過短）晓殊。
3：實(shí)驗(yàn)建模Input断凶。本次實(shí)驗(yàn)采用問答三元組的形式進(jìn)行建模（q，a+巫俺，a-）认烁，q代表問題，a+代表正向答案介汹，a-代表負(fù)向答案却嗡。insuranceQA里的訓(xùn)練數(shù)據(jù)已經(jīng)包含了問題和正向答案，因此需要對負(fù)向答案進(jìn)行選擇嘹承，實(shí)驗(yàn)時(shí)我們采用隨機(jī)的方式對負(fù)向答案進(jìn)行選擇窗价，組合成（q，a+叹卷，a-）的形式撼港。
4：將問題和答案進(jìn)行Embedding（batch_size, sequence_len, embedding_size）表示坪它。
5：對問題采用LSTM模型計(jì)算特征r_q（sequence_len, batch_size, rnn_size），對時(shí)序的LSTM特征進(jìn)行選擇帝牡，這里采用max-pooling往毡。
6：采用問題的特征r_q和答案的輸入根據(jù)圖1的attention計(jì)算方式，計(jì)算經(jīng)過attention加權(quán)之后的輸入靶溜。
7：采用LSTM模型計(jì)算答案的特征开瞭，文章中對LSTM模型計(jì)算的特征采用average的方式獲得最后的特征，這里采用max-pooling罩息。
8：根據(jù)問題和答案最終計(jì)算的特征嗤详，計(jì)算目標(biāo)函數(shù)（cosine_similary）。
IARNN-GATE算法實(shí)驗(yàn)步驟
1：本次實(shí)驗(yàn)采用insuranceQA數(shù)據(jù)瓷炮，你可以在這里獲得葱色。實(shí)驗(yàn)之前首先對問題和答案按字切詞，然后采用word2vec對問題和答案進(jìn)行預(yù)訓(xùn)練（這里采用按字切詞的方式避免的切詞的麻煩崭别，并且同樣能獲得較高的準(zhǔn)確率）冬筒。
2：由于本次實(shí)驗(yàn)采用固定長度的GRU，因此需要對問題和答案進(jìn)行截?cái)啵ㄟ^長）或補(bǔ)充（過短）茅主。
3：實(shí)驗(yàn)建模Input舞痰。本次實(shí)驗(yàn)采用問答三元組的形式進(jìn)行建模（q，a+诀姚，a-）响牛，q代表問題，a+代表正向答案赫段，a-代表負(fù)向答案呀打。insuranceQA里的訓(xùn)練數(shù)據(jù)已經(jīng)包含了問題和正向答案，因此需要對負(fù)向答案進(jìn)行選擇糯笙，實(shí)驗(yàn)時(shí)我們采用隨機(jī)的方式對負(fù)向答案進(jìn)行選擇贬丛，組合成（q，a+给涕，a-）的形式豺憔。
4：將問題和答案進(jìn)行Embedding（batch_size, sequence_len, embedding_size）表示。
5：根據(jù)通用的GRU模型計(jì)算問題的特征r_q够庙。
6：根據(jù)圖3公式對GRU模型結(jié)構(gòu)進(jìn)行改造恭应。
7：采用問題的特征r_q和答案的輸入根據(jù)圖4的計(jì)算方式，獲得經(jīng)過attention加權(quán)的GRU特征耘眨，文章中對模型計(jì)算的特征采用average的方式獲得最后的特征昼榛，這里采用max-pooling。
8：根據(jù)問題和答案最終計(jì)算的特征剔难，計(jì)算目標(biāo)函數(shù)（cosine_similry）胆屿。
參數(shù)設(shè)置：
??? IARNN-WORD算法參數(shù)設(shè)置：
??????? 1:奥喻、這里優(yōu)化函數(shù)采用論文中使用的SGD（采用adam優(yōu)化函數(shù)時(shí)效果會差大概1個點(diǎn)）。
??????? 2莺掠、學(xué)習(xí)速率為0.1衫嵌。
??????? 3:读宙、訓(xùn)練150輪彻秆，大概需要7個小時(shí)的時(shí)間。
??????? 4结闸、margin這里采用0.2唇兑，其它參數(shù)也試過0.15、0.1效果一般桦锄。
??????? 5扎附、這里訓(xùn)練沒有采用dropout和l2約束，之前試過dropout和l2對實(shí)驗(yàn)效果沒有提升结耀，這里就沒有采用了留夜。
??????? 6、batch_size為20图甜。
??????? 7碍粥、這里問題和答案長度都采用100字。
? ? ? ? 8黑毅、rnn_size為300（繼續(xù)調(diào)大沒有明顯的效果提升嚼摩，而且導(dǎo)致訓(xùn)練速度減慢）
? ? ? ? 9、字預(yù)訓(xùn)練采用100維矿瘦。
??? IARNN-GATE算法參數(shù)設(shè)置：
??????? 1:枕面、這里優(yōu)化函數(shù)采用論文中使用的SGD（采用adam優(yōu)化函數(shù)時(shí)效果會差大概1個點(diǎn)）。
??????? 2缚去、學(xué)習(xí)速率為0.1潮秘。
??????? 3:、訓(xùn)練150輪易结。
??????? 4枕荞、margin這里采用0.2，其它參數(shù)也試過0.15衬衬、0.1效果一般买猖。
??????? 5、這里訓(xùn)練沒有采用dropout和l2約束滋尉，之前試過dropout和l2對實(shí)驗(yàn)效果沒有提升玉控，這里就沒有采用了。
??????? 6狮惜、batch_size為32
??????? 7：這里問題長度保持30字高诺、答案100字碌识。
??????? 8、rnn_size為200（繼續(xù)調(diào)大沒有明顯的效果提升虱而，而且導(dǎo)致訓(xùn)練速度減慢）
??????? 9筏餐、字預(yù)訓(xùn)練采用100維。
實(shí)驗(yàn)結(jié)果對比：
IARNN-WORD?：0.6911
IARNN-GATE?：0.6916
如果有任何問題歡迎發(fā)送郵件到lirainbow0@163.com牡拇。
