一、文章有什么貢獻(xiàn)冶忱？
- 主要共享是提出了一個(gè)新的思路卜朗，以CCG (Combinatory Categorial Grammar) Supertag的形式將句法信息引入了熬的，NMT（神經(jīng)機(jī)器翻譯）的解碼器端莉恼，對(duì)NMT的性能有了一定提高拌喉。
- 用兩種方式將CCG Supertag任務(wù)引入解碼器，一種是直接插入輸出的序列类垫，一種是利用了多任務(wù)學(xué)習(xí)，對(duì)多任務(wù)學(xué)習(xí)的研究也有一些貢獻(xiàn)琅坡。
- 展示了不光是解碼器悉患，當(dāng)同時(shí)在編碼器端輸入語(yǔ)言學(xué)信息的時(shí)候，性能得到進(jìn)一步提高榆俺。
- 對(duì)其中更多細(xì)節(jié)售躁，如句子種類還有句子長(zhǎng)度也進(jìn)行了詳細(xì)的分析。進(jìn)一步理解茴晋，引入語(yǔ)言學(xué)信息后對(duì)NMT系統(tǒng)的影響陪捷。
二、本文研究問(wèn)題有什么價(jià)值诺擅？
首先引入CCG Supertag來(lái)對(duì)NMT的解碼器加入語(yǔ)法學(xué)信息市袖，而且證明了這種情況下直接插入輸出序列比多任務(wù)學(xué)習(xí)的性能要好。當(dāng)然主要還是證明了烁涌，語(yǔ)言學(xué)對(duì)NMT系統(tǒng)的影響苍碟。
三、研究問(wèn)題有什么挑戰(zhàn)撮执？
大概就是如何將CCG supertag的語(yǔ)法信息引入編碼器端吧微峰。
之后很多都是對(duì)系統(tǒng)的詳細(xì)分析了。
四抒钱、本文解決思路蜓肆？
本文提出了兩個(gè)解決思路。
-
一個(gè)是interleaving谋币，也就是將CCG supertag直接相間插入目標(biāo)語(yǔ)言的序列中去仗扬，也就是將輸出序列長(zhǎng)度增加一倍，一個(gè)單詞一個(gè)相應(yīng)的tag蕾额。如這樣 $y{'}=y_1{tag},y_1{word},...,y_T{tag},y_T^{word}$ .
然后就把這個(gè)當(dāng)做是原來(lái)的目標(biāo)語(yǔ)言序列厉颤，進(jìn)行解碼預(yù)測(cè)。
interleaving -
還有一種思路是利用多任務(wù)學(xué)習(xí)(Multi-task Learning)凡简，兩個(gè)解碼器分別用來(lái)翻譯和輸出CCG supertag逼友，這兩個(gè)解碼器共享一個(gè)編碼器精肃。
multitasking結(jié)果是第一個(gè)方案更好一些。
