paper來源:arXiv.org
問題:
實驗任務----屬于機器翻譯(NMT)任務秽褒,具體來說砸脊,本paper實驗任務為英語翻譯為法語;
paperwork----在傳統(tǒng)NMT的“seq2seq+attention”的基礎上引入先驗知識/工具改進了decoder的結構,在一定程度上解決大詞表(Large Vocabulary)和OOV(Out Of Vocabulary)問題纽哥;
摘要:
首先逮光,作者使用morphological and grammatical analysis(形態(tài)學與語法分析器)來獲取單詞的因素表示代箭,lemmas, Part of Speech tag, tense, person, gender and number等;
其次涕刚,作者改進了傳統(tǒng)的NMT的decoder嗡综,把輸出由一個變成了兩個,分別表示lemmas和其他的factors杜漠,獨立學習极景,然后重組為word;
由此帶來的好處是驾茴,同樣大的詞表可以表示更多的詞盼樟;再者,它可以生產詞表中不存在的新詞沟涨,減少OOV詞項的出現頻率恤批;
形態(tài)學與語法分析器(本文使用的是MACAON):
舉例:法語詞devient(對應英文詞becomes)可以表示為devenir和“vP3#s”, devenir為lemma,可以理解為詞根裹赴;“vP3#s”為factors喜庞,可理解為修飾限制詞根的其他因素;v表示verb棋返,P表示Present(時態(tài))延都,3表示3rd person(第三人稱),#表示無關性別,s表示單數睛竣;
網絡結構:
傳統(tǒng)的NMT結構圖:
兩個重要概念:seq2seq晰房,attention
FNMT提出的新的decoder的結構:
P變成獨立的Lemma和factors向量(由此可能會帶來長度差異,最終翻譯結果的長度以lemma長度為準)射沟;
將P層輸入給softmax決定lemma和factor后殊者,再將二者輸送給形態(tài)學分析器來產生word;
(feedback采用的是lemma向量验夯,根據如下實驗效果選擇的):
實驗結果:
1猖吴,詞表比較大的時候,表現基本持平挥转;詞表縮小的話海蔽,FNMT的表現就要好得多共屈;
2,相同的參數量党窜,FNMT能夠囊括更多的word拗引;
3,在OOV問題的解決上幌衣,FNMT表現更好矾削;
4,最后一列是忽略factor誤差帶來的影響豁护,lemma正確就算正確的結果怔软;
簡評:
1,本文利用先驗知識(詞根+限制條件表示詞匯)給解決大詞表和OOV問題提供了一種思路择镇;
2挡逼,實驗的效果很大一部分依賴于先驗的語態(tài)學分析器的效果,比如目標語言如果是中文或者英文就沒有這樣靠譜的分析器腻豌;
3家坎,如有問題或建議,歡迎留言交流~