論文
無代碼
本文參考的模型
1.ConvS2S 代碼
2.Transform 代碼
18年剂公，關(guān)于雙語翻譯的論文層出不窮希俩，世界各地研究者發(fā)了很多這方面的paper，今天來介紹這篇Google AI發(fā)表的機器翻譯論文诬留。
一斜纪、背景
當(dāng)前，seq2seq的模型在機器翻譯中取得了一定的成果文兑，典型的是將RNN循環(huán)神經(jīng)網(wǎng)絡(luò)模型作為基礎(chǔ)盒刚，應(yīng)用到seq2seq模型中。該篇論文的創(chuàng)作思路：第一步绿贞，將其他表現(xiàn)優(yōu)秀的模型和訓(xùn)練技術(shù)因块，添加到當(dāng)前的RNN結(jié)構(gòu)中，生成一個新的結(jié)構(gòu)籍铁，文中命名為RNMT+模型涡上；第二步，分析最基礎(chǔ)的seq2seq模型的結(jié)構(gòu)特征拒名，設(shè)計一個新的混合結(jié)構(gòu)吩愧，去增強翻譯效果。
注：現(xiàn)在利用各種神經(jīng)網(wǎng)絡(luò)模型進行深度學(xué)習(xí)的方法增显，越來越像搭積木的形式了雁佳，將各種有優(yōu)勢的模塊進行拼裝組合，似乎都會提升整體模型的表現(xiàn)效果同云。
1.基于RNN的翻譯模型糖权，都統(tǒng)稱為RNMT(RNN-based NMT Models)
RNMT模型由RNN編碼器、RNN解碼器和注意力層組成炸站。encoder編碼器將輸入的句子序列轉(zhuǎn)換為向量集合星澳，該向量集合通過一個注意力機制層，然后再傳入到decoder解碼器旱易，最終生成一個詞序列禁偎。
大多數(shù)成功的翻譯模型腿堤，它的encoder編碼器包含有一個或多個bi-RNN模塊，而decoder解碼器都是單向的RNNs届垫。有的模型將RNN替換為其變形結(jié)構(gòu)LSTM释液、GRU，或擴展模型的高層鏈接装处。在Google-NMT(2016)中误债，它的encoder編碼器由一個bi-LSTM和7個uni-LSTM組成，它的decoder解碼器由一個attention層和8個uni-LSTM組成妄迁。
該篇文章在Google-NMT(2016)模型的基礎(chǔ)上添加內(nèi)容寝蹈，建一個更大的模型RNMT+。
二登淘、模型
RNMT+模型結(jié)構(gòu)：左邊是encoder編碼器模型箫老，它有6層bi-LSTM，每層結(jié)束都是將前向?qū)虞敵龊秃笙驅(qū)虞敵鲞M行add連接起來黔州；右邊是decoder解碼器模型耍鬓，它有8層uni-LSTM，第一層是用多頭注意力層獲取編碼器輸入內(nèi)容信息流妻，該內(nèi)容也輸入到decoder解碼器最后一層softmax層進行計算牲蜀。
三、訓(xùn)練結(jié)果
從以上數(shù)據(jù)表可知绅这，這幾個機器翻譯模型耗時都比較久涣达，90h約4天才能訓(xùn)練好一個翻譯模型，RNMT+要120h約30天证薇。度苔。。浑度。寇窑。模型訓(xùn)練還是用的16~32個GPUs。箩张。疗认。。
時間久~~~
耗費計算資源多~~~~
一般的服務(wù)器跑不起那么大的模型~~~~
四伏钠、總結(jié)
該篇論文沒有太多的數(shù)學(xué)公式，它由很多神經(jīng)網(wǎng)絡(luò)模型像搭積木一樣堆疊起來的一個新模型谨设。也許一個大腦的正常運行熟掂，需要成千上億的細胞來驅(qū)動吧，當(dāng)下的機器翻譯模型構(gòu)建得越來越復(fù)雜扎拣，越來越大赴肚，模型的訓(xùn)練耗時很長素跺、耗費的計算機資源也很多。這些模型工具誉券，不是一般的機構(gòu)能夠運轉(zhuǎn)的指厌。
