2018,論文鏈接:https://arxiv.org/pdf/1805.04843.pdf
一千康、動(dòng)機(jī)
? ? ? 學(xué)會(huì)在大規(guī)模開放領(lǐng)域的對(duì)話系統(tǒng)中提問是很重要的枕赵,然后這個(gè)任務(wù)尚未被探索遵堵。因此梭稚,本文提出了一種在問答系統(tǒng)中提問的方法颖低,旨在探索新的相關(guān)信息使得人機(jī)對(duì)話繼續(xù)下去其弊。
二挺物、方法
任務(wù)的特殊性:
1、不僅有多種提問模式(疑問詞不同/yes or no問題)壳坪,還要包含多種多樣的相關(guān)主題暇昂。2莺戒、需要在給定文本中的多個(gè)主題之間切換自如。
好問題的組成:疑問詞(暗示提問模式)+主題詞(切換主題的關(guān)鍵信息)+普通詞(在句法和語(yǔ)法上起作用急波,使問題更流暢)
本文共收集了20種疑問詞从铲,并假定問題中的動(dòng)詞和名詞(感覺應(yīng)該是動(dòng)名詞)是主題詞,其他詞是普通詞澄暮。
因此名段,本文將問題中的單詞分成上述三種類型。在encoder-decoder的框架上設(shè)計(jì)了兩個(gè)解碼器—軟類型解碼器(STD)和硬類型解碼器(HTD)泣懊,分別以隱含和直觀的方式處理單詞類型伸辟。
輸入:文本序列.???? 編碼器:GRU?????? 解碼器:STD+HTD
2.1 STD
目的:生成更多有意義的問題
假定每個(gè)單詞都有一個(gè)隱含類型(疑問/主題/普通)。STD首先估計(jì)給定文本中每個(gè)單詞的類型概率分布嗅定,然后基于詞匯表計(jì)算特定類型下的生成該單詞的概率分布自娩。最終生成一個(gè)單詞的概率是特定類型下概率分布的總和用踩,系數(shù)是相應(yīng)的類型概率渠退。
2.2 HTD
不同于STD,HTD先算出給定文本中每個(gè)單詞的類型概率分布脐彩,取概率最高的類型作為該單詞類型計(jì)算在該類型下的生成概率分布碎乃。
但是這么做會(huì)產(chǎn)生兩個(gè)問題:1)如果第一次選擇的類型是錯(cuò)誤的,就會(huì)導(dǎo)致最終問題的語(yǔ)法錯(cuò)誤惠奸。2)argmax是離散的梅誓,不可微的,訓(xùn)練時(shí)不可以反向傳播佛南。
因此作者用了Gumbel-Softmax來近似argmax的操作梗掰。
三、實(shí)驗(yàn)
數(shù)據(jù)集:從微博上收集了900萬個(gè)post-response對(duì)嗅回。進(jìn)行數(shù)據(jù)預(yù)處理及穗,刪除通用問題(適合各種答案類型的問題),最終剩余491000個(gè)post-response對(duì)绵载,組成數(shù)據(jù)集埂陆。
人工評(píng)估:Appropriateness:?jiǎn)栴}在邏輯和內(nèi)容上是否合理苛白;
? ? ? ? ? ? ? ? ? Richness:是否包含和給定文本相關(guān)的主題詞;
? ? ? ? ? ? ? ? ? Willingness to respond:用戶是否愿意回答該問題使得對(duì)話繼續(xù)下去焚虱。?
四购裙、總結(jié)
這篇文章做的是對(duì)話系統(tǒng)里面的問題生成,但是它其實(shí)只是輸入了一句話鹃栽,然后生成一個(gè)問題使得這個(gè)對(duì)話繼續(xù)下去躏率。并沒有輸入對(duì)話歷史,因此它生成問題的空間比較大民鼓,不需要與對(duì)話歷史保持連貫禾锤,只需要與給定的句子有關(guān)系就好了。
因此摹察,它通過在給定的句子中找尋主題詞恩掷,然后對(duì)其進(jìn)行提問,確保與其關(guān)聯(lián)供嚎。并且提出了兩種編碼器黄娘,通過確定單詞的類型繼而生成問題。這種思路可以借鑒克滴,后續(xù)應(yīng)該考慮到引入對(duì)話歷史逼争,使得生成完整的多輪對(duì)話,以證明在對(duì)話系統(tǒng)中提問的魯棒性劝赔。