Compositional Semantic Parsing on Semi-Structured Tables

用于回答問題的語義解析的兩個(gè)重要方面是知識來源的廣度和邏輯組合性的深度。 盡管現(xiàn)有工作在一個(gè)方面與另一個(gè)方面之間進(jìn)行了折衷，但本文通過一項(xiàng)新任務(wù)同時(shí)在兩個(gè)方面取得了進(jìn)展：使用問題-答案對作為監(jiān)督恰聘，在半結(jié)構(gòu)化表格上回答復(fù)雜問題。 中心挑戰(zhàn)來自兩個(gè)復(fù)合因素：領(lǐng)域越廣絮宁，關(guān)系就越開放驳遵；組合性越深境蔼，邏輯形式空間就越發(fā)組合爆炸厅贪。 作者提出了一種以強(qiáng)類型約束為指導(dǎo)的邏輯形式驅(qū)動的解析算法蠢护，并表明該算法比自然基線獲得了顯著改進(jìn)雅宾。 為了進(jìn)行評估养涮，作者在Wikipedia表上創(chuàng)建了一個(gè)包含22,033個(gè)復(fù)雜問題的新數(shù)據(jù)集，該數(shù)據(jù)集已公開發(fā)布眉抬，為WIKI TABLE question dataset

QA任務(wù)示例

作者給出了一個(gè)用于這個(gè)任務(wù)的模型

模型

NEURAL PROGRAMMER: INDUCING LATENT PROGRAMS WITH GRADIENT DESCENT

深度神經(jīng)網(wǎng)絡(luò)在許多任務(wù)中都實(shí)現(xiàn)了令人印象深刻的監(jiān)督分類性能垃你，包括圖像識別，語音識別和從序列到序列的學(xué)習(xí)喂很。但是惜颇，這種成功尚未轉(zhuǎn)化為可能涉及復(fù)雜算術(shù)和邏輯推理的應(yīng)用程序，例如問題解答少辣。這些模型的主要局限性在于它們甚至無法學(xué)習(xí)簡單的算術(shù)和邏輯運(yùn)算凌摄。例如，已經(jīng)表明神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)可靠地將兩個(gè)二進(jìn)制數(shù)相加漓帅。在這項(xiàng)工作中锨亏，我們提出了神經(jīng)編程器（Neural Programmer）林说，這是一個(gè)神經(jīng)網(wǎng)絡(luò)，其中增加了少量的基本算術(shù)和邏輯運(yùn)算屯伞，可以使用反向傳播對它們進(jìn)行端到端訓(xùn)練腿箩。神經(jīng)程序員可以通過幾個(gè)步驟調(diào)用這些增強(qiáng)操作，從而生成比內(nèi)置操作更復(fù)雜的合成程序劣摇。該模型從弱監(jiān)督信號中學(xué)習(xí)珠移，該監(jiān)督信號是正確程序執(zhí)行的結(jié)果，因此它不需要正確程序本身的昂貴注釋末融。由Neural Programmer推斷要調(diào)用的操作以及要應(yīng)用的數(shù)據(jù)段的決定钧惧。在訓(xùn)練過程中，此類決定是以可區(qū)分的方式完成的勾习，因此可以通過梯度下降聯(lián)合訓(xùn)練整個(gè)網(wǎng)絡(luò)浓瞪。作者發(fā)現(xiàn)訓(xùn)練模型很困難，但是可以通過將隨機(jī)噪聲添加到梯度來極大地改善模型巧婶。在相當(dāng)復(fù)雜的綜合表綜合數(shù)據(jù)集上乾颁，傳統(tǒng)的遞歸網(wǎng)絡(luò)和注意力模型的性能較差，而神經(jīng)程序員通骋照唬可獲得近乎完美的準(zhǔn)確性

Neural Programmer架構(gòu)

神經(jīng)編程器的體系結(jié)構(gòu)英岭，這是一個(gè)用算術(shù)和邏輯運(yùn)算增強(qiáng)的神經(jīng)網(wǎng)絡(luò)。 控制器選擇操作和數(shù)據(jù)段湿右。 存儲器存儲應(yīng)用于數(shù)據(jù)段的操作的輸出以及控制器之前執(zhí)行的操作诅妹。 控制器運(yùn)行多個(gè)步驟，從而生成比內(nèi)置操作更復(fù)雜的合成程序毅人。 虛線表示控制器使用存儲器中的信息在下一個(gè)步驟中做出決定.
總的來說吭狡，作者開發(fā)了神經(jīng)編程器（Neural Programmer），這是一個(gè)神經(jīng)網(wǎng)絡(luò)模型丈莺，其中增加了少量的算術(shù)和邏輯運(yùn)算划煮，以執(zhí)行復(fù)雜的算術(shù)和邏輯推理。 可以使用反向傳播以端到端的方式訓(xùn)練模型场刑，以誘導(dǎo)程序比以前的工作需要更少的復(fù)雜的人工監(jiān)督般此。 它是程序歸納的通用模型，廣泛適用于不同領(lǐng)域牵现，數(shù)據(jù)源和語言铐懊。 實(shí)驗(yàn)表明，該模型能夠在延遲的監(jiān)督下進(jìn)行學(xué)習(xí)瞎疼，并具有強(qiáng)大的組合性科乎。

Neural Semantic Parsing with Type Constraints for Semi-Structured Tables

作者提出了一種新的語義解析模型，用于回答半結(jié)構(gòu)化Wikipedia表上的構(gòu)成問題贼急。 該解析器是具有兩個(gè)關(guān)鍵技術(shù)創(chuàng)新的編解碼器神經(jīng)網(wǎng)絡(luò)：
（1）僅用于生成類型正確的邏輯形式的解碼器語法茅茂；（2）實(shí)體嵌入和鏈接模塊捏萍，用于在跨表概括時(shí)標(biāo)識實(shí)體提及。 本文還介紹了一種在問答管理下訓(xùn)練神經(jīng)模型的新穎方法空闲。 在WIKITABLEQUESTIONS數(shù)據(jù)集上令杈，該解析器對單個(gè)模型的最新精確度達(dá)到43.3％，對于5模型的合奏達(dá)到了45.9％碴倾，相比于15模型的合集逗噩，最佳先驗(yàn)得分為38.7％。 這些結(jié)果表明類型約束和實(shí)體鏈接是合并到神經(jīng)語義解析器中的有價(jià)值的組件

架構(gòu)

同樣用的是將表格轉(zhuǎn)換為知識圖譜跌榔，之后在使用EncoderDecoder模型進(jìn)行處理异雁。
總結(jié)來說，作者提出了一種新的語義解析模型僧须，用于針對半結(jié)構(gòu)化的Wikipedia表回答組成問題纲刀。 該語義解析器通過在邏輯形式生成過程中強(qiáng)制類型約束，并包括一個(gè)顯式的實(shí)體嵌入和鏈接模塊來擴(kuò)展最近的神經(jīng)語義解析器担平，該模塊使它能夠識別實(shí)體提及的內(nèi)容示绊，同時(shí)跨表進(jìn)行泛化。 對WIKITABLEQUESTIONS的評估表明驱闷，解析器獲得了最先進(jìn)的結(jié)果耻台，此外空免，類型約束和實(shí)體鏈接都對準(zhǔn)確性做出了重大貢獻(xiàn)空另。 分析本文的解析器所犯的錯(cuò)誤表明，改進(jìn)實(shí)體鏈接和使用表結(jié)構(gòu)是未來工作的兩個(gè)方向

An Encoder-Decoder Framework Translating Natural Language to Database Queries

在使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的深度學(xué)習(xí)技術(shù)的爆炸性發(fā)展的推動下蹋砚，機(jī)器翻譯正在經(jīng)歷一場徹底的革命扼菠。在本文中，我們考慮了機(jī)器翻譯問題中的一種特殊情況坝咐，目標(biāo)是將自然語言轉(zhuǎn)換為結(jié)構(gòu)化查詢語言（SQL）循榆，以便通過關(guān)系數(shù)據(jù)庫進(jìn)行數(shù)據(jù)檢索。盡管通用CNN和RNN在使用足夠的樣本進(jìn)行訓(xùn)練時(shí)會學(xué)習(xí)SQL的語法結(jié)構(gòu)墨坚，但是當(dāng)翻譯模型與SQL的語法規(guī)則深度集成時(shí)秧饮，可以大大提高模型的準(zhǔn)確性和訓(xùn)練效率。我們提出了一個(gè)新的編碼器-解碼器框架泽篮，以及一系列新方法盗尸，包括將新的語義特征輸入到編碼器中，將語法感知狀態(tài)注入到解碼器的內(nèi)存中以及對子查詢的遞歸狀態(tài)管理帽撑。這些技術(shù)幫助神經(jīng)網(wǎng)絡(luò)更好地專注于理解自然語言中的操作的語義泼各，并節(jié)省了SQL語法學(xué)習(xí)的工作量。對現(xiàn)實(shí)世界數(shù)據(jù)庫和查詢的實(shí)證評估表明亏拉，我們的方法明顯優(yōu)于最新解決方案

架構(gòu)

在本文中扣蜻，作者提出了一個(gè)新的編碼器-解碼框架逆巍，旨在將自然語言轉(zhuǎn)換為結(jié)構(gòu)化查詢語言（SQL）。 核心思想是將SQL的已知語法結(jié)構(gòu)深入集成到編碼器和解碼器使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中莽使。 本文的實(shí)驗(yàn)結(jié)果表明锐极，與標(biāo)準(zhǔn)機(jī)器翻譯的基準(zhǔn)方法相比，有了顯著的改進(jìn)芳肌，尤其是通過在實(shí)際數(shù)據(jù)庫上執(zhí)行SQL查詢溪烤，在結(jié)果的準(zhǔn)確性上。 盡管我們的技術(shù)是為SQL輸出而設(shè)計(jì)的庇勃，但所提出的技術(shù)通常適用于具有BNF語法結(jié)構(gòu)的其他語言檬嘀。 在未來的工作中，作者將把使用范圍擴(kuò)展到自動編程责嚷，使機(jī)器學(xué)習(xí)系統(tǒng)能夠基于自然語言輸入來編寫例如C語言的程序

Natural Language to Structured Query Generation via Meta-Learning

在常規(guī)的有監(jiān)督訓(xùn)練中鸳兽，訓(xùn)練模型以適合所有訓(xùn)練示例。 但是罕拂，具有整體模型可能并不總是最好的策略揍异，因?yàn)槭纠赡芮Р钊f別。 在這項(xiàng)工作中爆班，作者探索了一種不同的學(xué)習(xí)協(xié)議衷掷，該方法將每個(gè)學(xué)習(xí)示例視為一個(gè)獨(dú)特的偽任務(wù)，方法是借助域相關(guān)性函數(shù)將原始學(xué)習(xí)問題簡化為幾次元學(xué)習(xí)場景柿菩。 當(dāng)在WikiSQL數(shù)據(jù)集上進(jìn)行評估時(shí)戚嗅，作者的方法可以更快地收斂，并且與非元數(shù)據(jù)學(xué)習(xí)方法相比枢舶，可以實(shí)現(xiàn)1.1％–5.4％的絕對準(zhǔn)確度懦胞。
在本文中，我們提出了一種新的學(xué)習(xí)協(xié)議凉泄，該協(xié)議將常規(guī)的有監(jiān)督的學(xué)習(xí)問題簡化為幾次元學(xué)習(xí)場景躏尉。 這是通過在相關(guān)功能的幫助下有效創(chuàng)建偽任務(wù)來完成的。 當(dāng)對新發(fā)布的大型語義解析數(shù)據(jù)集WikiSQL進(jìn)行評估時(shí)后众，我們的方法可以加快收斂速度胀糜，并且與非元學(xué)習(xí)方法相比，其絕對準(zhǔn)確度提高了1.1％–5.4％蒂誉，從而獲得了最新的最新結(jié)果 教藻。 盡管最初的發(fā)現(xiàn)令人鼓舞，但我們認(rèn)為這種元學(xué)習(xí)框架的潛力尚未完全實(shí)現(xiàn)拗盒。 將來怖竭，我們計(jì)劃探索元學(xué)習(xí)設(shè)置的更多變體，例如使用不同的相關(guān)性函數(shù)陡蝇，包括共同學(xué)習(xí)的相關(guān)性函數(shù)痊臭。 我們還希望通過在更自然的語言處理任務(wù)上進(jìn)行測試來更好地理解這種方法