來源: AINLPer 微信公眾號（點擊了解一下吧）
編輯: ShuYini
校稿: ShuYini
時間: 2020-03-09
引言： 下面是作者整理的自然語言生成(NLG)論文速遞系列的第二篇油够，該篇主要看點有：摘要生成雹有、文本生成，標(biāo)題生成，手寫生成蹬挺，機器翻譯等，如果你對NLG感興趣或者也在找一些相關(guān)的文章阻荒，希望能夠幫助你~~
如果你一篇篇的論文下載不方便金吗，你也可以關(guān)注 AINLPer 回復(fù)：NLG002 進行打包下載。
1餐济、TILE: A Deep Reinforced Model for Abstractive Summarization【摘要生成】
Author: Romain Paulus, Caiming Xiong, Richard Socher
Paper: https://openreview.net/pdf?id=HkAClQgA-
論文簡述： 本文提出了一種基于內(nèi)部注意力機制的神經(jīng)網(wǎng)絡(luò)模型耘擂，該模型可以分別關(guān)注輸入和連續(xù)的輸出；以及一種新的訓(xùn)練方法颤介，該訓(xùn)練方法結(jié)合了標(biāo)準(zhǔn)的單詞預(yù)測和強化學(xué)習(xí)梳星。
2、TILE: Simulating Action Dynamics with Neural Process Networks【文本生成】
Author: Antoine Bosselut, Omer Levy, Ari Holtzman, Corin Ennis, Dieter Fox, Yejin Choi
Paper:https://openreview.net/pdf?id=rJYFzMZC-
論文簡述： 本文提出的模型能夠?qū)ξ粗穆?lián)系進行推理滚朵，為理解和生成程序化文本提供更準(zhǔn)確的上下文信息冤灾，同時比現(xiàn)有的替代方案提供更多可解釋的內(nèi)部表示。
3辕近、TILE: Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling【上下文生成表示】
Author: Tao Shen, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang
Paper:https://openreview.net/pdf?id=H1cWzoxA-
論文簡述： 本文提出了 “雙向塊自注意網(wǎng)絡(luò)(Bi-BloSAN)” 模型韵吨，用于RNN/CNN-free序列編碼。它需要的內(nèi)存和RNN一樣少移宅，但具有SAN的所有優(yōu)點归粉。Bi-BloSAN將整個序列分割為塊椿疗，并對每個塊應(yīng)用一個塊內(nèi)SAN來建模本地上下文，然后對所有塊的輸出應(yīng)用一個塊間SAN來捕獲遠程依賴關(guān)系糠悼。
4届榄、TILE: An Actor-Critic Algorithm for Sequence Prediction【MT、標(biāo)題生成倔喂、會話模型】
Author: Dzmitry Bahdanau, Philemon Brakel, Kelvin Xu, Anirudh Goyal, Ryan Lowe, Joelle Pineau, Aaron Courville, Yoshua Bengio
Paper:https://openreview.net/pdf?id=SJDaqqveg
論文簡述： 本文提出了一種利用強化學(xué)習(xí)中的actor-critic法訓(xùn)練神經(jīng)網(wǎng)絡(luò)生成序列的方法铝条。當(dāng)前的對數(shù)似然訓(xùn)練方法受到訓(xùn)練模式和測試模式之間差異的限制，因為模型生成必須基于其先前猜測的標(biāo)記席噩，而不是基于真實標(biāo)記班缰。我們通過引入一個textit{critic}網(wǎng)絡(luò)來解決這個問題，該網(wǎng)絡(luò)經(jīng)過訓(xùn)練悼枢，可以預(yù)測輸出token的值埠忘，給定textit{actor}網(wǎng)絡(luò)的策略。
5馒索、TILE: Hierarchical Multiscale Recurrent Neural Networks【手寫生成】
Author: Junyoung Chung, Sungjin Ahn, Yoshua Bengio
Paper:https://openreview.net/pdf?id=S1di0sfgl
論文簡述： 提出了一種新的多尺度遞歸神經(jīng)網(wǎng)絡(luò)莹妒，該神經(jīng)網(wǎng)絡(luò)利用一種新的更新機制對不同時間尺度的時間依賴性進行編碼，從而捕獲序列中潛在的層次結(jié)構(gòu)双揪。結(jié)果表明动羽，該模型可以在不使用顯式邊界信息的情況下發(fā)現(xiàn)序列的層次結(jié)構(gòu)。
6渔期、TILE: HyperNetworks【手寫生成运吓、NMT、Level-Language】
Author: David Ha, Andrew M. Dai, Quoc V. Le
Paper:https://openreview.net/pdf?id=rkpACe1lx
論文簡述： 本文訓(xùn)練一個小的RNN為一個大的RNN生成權(quán)重疯趟，并通過端到端的方式對系統(tǒng)進行訓(xùn)練拘哨。我們在各種序列建模任務(wù)(包括字符級語言建模、手寫生成和神經(jīng)機器翻譯)上獲得最新的結(jié)果信峻。
Attention
更多自然語言處理相關(guān)知識倦青，還請關(guān)注AINLPer公眾號，極品干貨即刻送達盹舞。
