五月份的時(shí)候，F(xiàn)acebook發(fā)布了Fairseq機(jī)器翻譯模型氛改，號(hào)稱比基于RNN的模型訓(xùn)練速度提升了九倍，而且翻譯質(zhì)量更高比伏，經(jīng)過(guò)實(shí)測(cè)胜卤，速度和翻譯質(zhì)量也確實(shí)有可觀的提升，基于pytorch實(shí)現(xiàn)的版本也于不久前開源赁项，學(xué)習(xí)筆記如下：
一葛躏、概覽
- 相較于RNN，CNN工作不依賴于上一時(shí)間步的結(jié)果悠菜，所以可以做到最大程度的并行計(jì)算舰攒，提升訓(xùn)練速度。
- 模型實(shí)現(xiàn)了基于CNN的分層結(jié)構(gòu)悔醋，這使得一句話中距離較近的詞匯可以在較低的層中產(chǎn)生聯(lián)系摩窃，距離較遠(yuǎn)的在網(wǎng)絡(luò)的高層的產(chǎn)生聯(lián)系。CNN的分層結(jié)構(gòu)O(n/k)比RNN通過(guò)門機(jī)制O(n)建立詞匯之間的聯(lián)系提供了更短的路徑芬骄。
- 位置感(Position Embedding) ：將單詞的位置也作為輸入的feature進(jìn)行embedding猾愿，將其結(jié)果與Word Embedding相加，作為模型Encoder／Decoder的輸入账阻。
- 門線性單元(gated linear unit)：個(gè)人理解有點(diǎn)類似于RNN神經(jīng)元內(nèi)部的門機(jī)制蒂秘，它或許可以使得網(wǎng)絡(luò)能夠全面利用輸入信息或者專注于某些重要信息。
- 另外添加了殘差連接(resdual connections)并對(duì)decoder的每層使用attention宰僧。
二材彪、模型結(jié)構(gòu)
-
整體的模型結(jié)構(gòu)還是一個(gè)Encoder-to-Decoder的結(jié)構(gòu)。
fair-seq模型整體結(jié)構(gòu)Encoder
原文句子中的詞匯和其位置各自經(jīng)過(guò)embedding之后相加琴儿，經(jīng)過(guò)dropout之后得到Encoder需要的input_embedding段化。
- 【單層網(wǎng)絡(luò)的操作】
- 經(jīng)過(guò)線性映射fc1，將embedding的維度映射到模型kernel需要的維度(encoder_input)造成。
- 將其輸入卷積層之前要“備份”一下显熏，并將“備份”通過(guò)另一線性映射函數(shù)fc2，映射到本層卷積神經(jīng)網(wǎng)絡(luò)的輸出維度晒屎，以為殘差連接作準(zhǔn)備喘蟆。
- 將encoder_input輸入卷積層，將得到的結(jié)果輸入glu鼓鲁，
- 將2蕴轨、3步的結(jié)果相加，得到單層網(wǎng)絡(luò)的輸出骇吭，可作為下層網(wǎng)絡(luò)的輸入橙弱。
5.最后一層網(wǎng)絡(luò)輸出的結(jié)果稱為x_encoder，將x_encoder映射到embedding維度，然后將x_encoder與input_embedding相加作為y_encoder棘脐，encoder同時(shí)返回x_encoder斜筐，y_decoder以被后續(xù)使用。
Decoder
其輸入input_embedding與Encoder相同蛀缝。
- 【單層網(wǎng)絡(luò)的操作】
Deocer中單層網(wǎng)絡(luò)的操作跟Encoder中的操作基本一樣顷链，只不過(guò)在每一層的【3.】步之后加上一個(gè)成為mutil-step Attention的操作，而這也是Fairseq模型表現(xiàn)的如此只好的一個(gè)核心trick屈梁。 - 【Mutil-step Attention】：
- 目標(biāo)原文句子中的詞匯和其位置各自經(jīng)過(guò)embedding之后相加嗤练，經(jīng)過(guò)dropout之后作為target-embedding。
- target-embedding作為第一層網(wǎng)絡(luò)的輸入在讶，依次經(jīng)過(guò)Decoder的1潭苞、2、3步后得到的結(jié)果作為x_decoder真朗。
- encoder的輸出作為encoder_out此疹。
- Mutil-step Attention的操作就是，將x_decoder映射到與target-embedding相同的維度并與target-embedding相加遮婶；
- 將得到的矩陣與x_encoder相乘并沿著最后一維計(jì)算softmax蝗碎，得到attention-score，即譯文中每個(gè)詞與原文中每個(gè)詞的相關(guān)程度旗扑；
- 再將attention-score與y_encoder矩陣相乘蹦骑，得到計(jì)算attention之后的y_encoder_attn矩陣。
- 將y_encoder_attn映射到與Decoder本卷積層本來(lái)的維度與最初的x_decoder相加臀防，得到Decoder下一層網(wǎng)絡(luò)的輸入眠菇。
模型的效果：
根據(jù)論文的描述來(lái)看，得益于CNN的并行計(jì)算性袱衷，CNN在大幅度提高訓(xùn)練速度的前提下捎废，還不同程度的提高了各語(yǔ)種的翻譯質(zhì)量。
在WMT’14 En-Ro 語(yǔ)對(duì)上比之前最好的模型提高了1.9BLEU致燥，
在En-Ge語(yǔ)對(duì)上提升了0.5BLEU登疗，
在En-Fr語(yǔ)對(duì)上提高了1.6BLEU。
總結(jié)：
Fairseq真的是個(gè)神奇的模型嫌蚤，其應(yīng)用在英中語(yǔ)對(duì)上比之前的最好的模型都要好不少辐益，尤其是其pytorch版的模型相較于初始Lua版模型在訓(xùn)練速度和顯存占用上又有不小的改進(jìn)，但這并不是神經(jīng)網(wǎng)絡(luò)翻譯的極限脱吱，在英中上我們一定程度上修改了一下模型智政，并嘗試這添加了幾個(gè)trick，感覺還相較于官方的模型箱蝠，仍會(huì)有超過(guò)1個(gè)BLEU值的提升续捂，并且其與LSTM模型ensemble后會(huì)有更大的提升猜年，以此可以認(rèn)為CNN和RNN在機(jī)器翻譯領(lǐng)域有某種程度的互補(bǔ)作用。
最后疾忍，向Facebook這家在天朝并不存在的公司為機(jī)器翻譯做出的巨大貢獻(xiàn)致敬！
