《Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders》閱讀筆記

2018,論文鏈接:https://arxiv.org/pdf/1805.04843.pdf

一千康、動(dòng)機(jī)

? ? ? 學(xué)會(huì)在大規(guī)模開放領(lǐng)域的對(duì)話系統(tǒng)中提問是很重要的枕赵,然后這個(gè)任務(wù)尚未被探索遵堵。因此梭稚,本文提出了一種在問答系統(tǒng)中提問的方法颖低,旨在探索新的相關(guān)信息使得人機(jī)對(duì)話繼續(xù)下去其弊。

二挺物、方法

任務(wù)的特殊性:

1、不僅有多種提問模式(疑問詞不同/yes or no問題)壳坪,還要包含多種多樣的相關(guān)主題暇昂。2莺戒、需要在給定文本中的多個(gè)主題之間切換自如。

好問題的組成:疑問詞(暗示提問模式)+主題詞(切換主題的關(guān)鍵信息)+普通詞(在句法和語(yǔ)法上起作用急波,使問題更流暢)

本文共收集了20種疑問詞从铲,并假定問題中的動(dòng)詞和名詞(感覺應(yīng)該是動(dòng)名詞)是主題詞,其他詞是普通詞澄暮。

因此名段,本文將問題中的單詞分成上述三種類型。在encoder-decoder的框架上設(shè)計(jì)了兩個(gè)解碼器—軟類型解碼器(STD)和硬類型解碼器(HTD)泣懊,分別以隱含和直觀的方式處理單詞類型伸辟。

輸入:文本序列.???? 編碼器:GRU?????? 解碼器:STD+HTD

2.1 STD

目的:生成更多有意義的問題

假定每個(gè)單詞都有一個(gè)隱含類型(疑問/主題/普通)。STD首先估計(jì)給定文本中每個(gè)單詞的類型概率分布嗅定,然后基于詞匯表計(jì)算特定類型下的生成該單詞的概率分布自娩。最終生成一個(gè)單詞的概率是特定類型下概率分布的總和用踩,系數(shù)是相應(yīng)的類型概率渠退。

2.2 HTD

不同于STD,HTD先算出給定文本中每個(gè)單詞的類型概率分布脐彩,取概率最高的類型作為該單詞類型計(jì)算在該類型下的生成概率分布碎乃。

但是這么做會(huì)產(chǎn)生兩個(gè)問題:1)如果第一次選擇的類型是錯(cuò)誤的,就會(huì)導(dǎo)致最終問題的語(yǔ)法錯(cuò)誤惠奸。2)argmax是離散的梅誓,不可微的,訓(xùn)練時(shí)不可以反向傳播佛南。

因此作者用了Gumbel-Softmax來近似argmax的操作梗掰。

三、實(shí)驗(yàn)

數(shù)據(jù)集:從微博上收集了900萬個(gè)post-response對(duì)嗅回。進(jìn)行數(shù)據(jù)預(yù)處理及穗,刪除通用問題(適合各種答案類型的問題),最終剩余491000個(gè)post-response對(duì)绵载,組成數(shù)據(jù)集埂陆。

人工評(píng)估:Appropriateness:?jiǎn)栴}在邏輯和內(nèi)容上是否合理苛白;

? ? ? ? ? ? ? ? ? Richness:是否包含和給定文本相關(guān)的主題詞;

? ? ? ? ? ? ? ? ? Willingness to respond:用戶是否愿意回答該問題使得對(duì)話繼續(xù)下去焚虱。?

四购裙、總結(jié)

這篇文章做的是對(duì)話系統(tǒng)里面的問題生成,但是它其實(shí)只是輸入了一句話鹃栽,然后生成一個(gè)問題使得這個(gè)對(duì)話繼續(xù)下去躏率。并沒有輸入對(duì)話歷史,因此它生成問題的空間比較大民鼓,不需要與對(duì)話歷史保持連貫禾锤,只需要與給定的句子有關(guān)系就好了。

因此摹察,它通過在給定的句子中找尋主題詞恩掷,然后對(duì)其進(jìn)行提問,確保與其關(guān)聯(lián)供嚎。并且提出了兩種編碼器黄娘,通過確定單詞的類型繼而生成問題。這種思路可以借鑒克滴,后續(xù)應(yīng)該考慮到引入對(duì)話歷史逼争,使得生成完整的多輪對(duì)話,以證明在對(duì)話系統(tǒng)中提問的魯棒性劝赔。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末誓焦,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子着帽,更是在濱河造成了極大的恐慌杂伟,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,561評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件仍翰,死亡現(xiàn)場(chǎng)離奇詭異赫粥,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)予借,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門越平,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人灵迫,你說我怎么就攤上這事秦叛。” “怎么了瀑粥?”我有些...
    開封第一講書人閱讀 157,162評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵挣跋,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我利凑,道長(zhǎng)浆劲,這世上最難降的妖魔是什么嫌术? 我笑而不...
    開封第一講書人閱讀 56,470評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮牌借,結(jié)果婚禮上度气,老公的妹妹穿的比我還像新娘。我一直安慰自己膨报,他們只是感情好磷籍,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,550評(píng)論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著现柠,像睡著了一般院领。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上够吩,一...
    開封第一講書人閱讀 49,806評(píng)論 1 290
  • 那天比然,我揣著相機(jī)與錄音,去河邊找鬼周循。 笑死强法,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的湾笛。 我是一名探鬼主播饮怯,決...
    沈念sama閱讀 38,951評(píng)論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼嚎研!你這毒婦竟也來了蓖墅?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,712評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤临扮,失蹤者是張志新(化名)和其女友劉穎论矾,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體公条,經(jīng)...
    沈念sama閱讀 44,166評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡拇囊,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,510評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了靶橱。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,643評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡路捧,死狀恐怖关霸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情杰扫,我是刑警寧澤队寇,帶...
    沈念sama閱讀 34,306評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站章姓,受9級(jí)特大地震影響佳遣,放射性物質(zhì)發(fā)生泄漏识埋。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,930評(píng)論 3 313
  • 文/蒙蒙 一零渐、第九天 我趴在偏房一處隱蔽的房頂上張望窒舟。 院中可真熱鬧,春花似錦诵盼、人聲如沸惠豺。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)洁墙。三九已至,卻和暖如春戒财,著一層夾襖步出監(jiān)牢的瞬間热监,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工饮寞, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留狼纬,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,351評(píng)論 2 360
  • 正文 我出身青樓骂际,卻偏偏與公主長(zhǎng)得像疗琉,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子歉铝,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,509評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 前面的文章主要從理論的角度介紹了自然語(yǔ)言人機(jī)對(duì)話系統(tǒng)所可能涉及到的多個(gè)領(lǐng)域的經(jīng)典模型和基礎(chǔ)知識(shí)盈简。這篇文章,甚至之后...
    我偏笑_NSNirvana閱讀 13,881評(píng)論 2 64
  • 許多人工智能應(yīng)用離不開高質(zhì)量的知識(shí)庫(kù)太示,例如QA系統(tǒng)柠贤,對(duì)話機(jī)器人,推薦系統(tǒng)等等类缤。 然而, 高質(zhì)量知識(shí)庫(kù)的構(gòu)建與維護(hù)并...
    四碗飯兒閱讀 953評(píng)論 0 0
  • 從昨天晚上下班到現(xiàn)在忙的夠嗆臼勉,比上班都累,又當(dāng)?shù)之?dāng)媽的餐弱。 好累宴霸,想找個(gè)遮風(fēng)擋雨的人,陪我長(zhǎng)大膏蚓,守護(hù)我的單純瓢谢,一起開心。
    姑娘我姓雷閱讀 632評(píng)論 1 0
  • 頭兩天驮瞧,我和朋友們一起去九頂山玩氓扛。我們急急忙忙的,早晨5:30就坐上的車论笔,五個(gè)小時(shí)后才下車采郎。 下了車千所,村長(zhǎng)...
    毛毛蟲爬呀爬閱讀 367評(píng)論 0 0
  • 學(xué)別人的長(zhǎng)處,補(bǔ)自己的不足蒜埋。想必這句話已是老掉了牙了淫痰,但還是很有用。 節(jié)前有幸跟隨外出學(xué)習(xí)理茎,開了眼界黑界,很有收獲,但...
    我悅我寫閱讀 216評(píng)論 0 0