使聊天機(jī)器人具有個(gè)性

本文結(jié)構(gòu):

  • 模型效果
  • 模型的三個(gè)模塊
  • 模塊細(xì)節(jié)

今天的論文是 《Assigning Personality/Identity to a Chatting Machine for Coherent Conversation Generation》

https://arxiv.org/pdf/1706.02861.pdf

當(dāng)我們?cè)诤土奶鞕C(jī)器人互動(dòng)時(shí),最開(kāi)始往往很好奇的就是對(duì)方到底是人還是機(jī)器人呢全释,所以會(huì)問(wèn)到一些關(guān)于對(duì)方身份的問(wèn)題射窒,這對(duì)于機(jī)器人能否通過(guò)圖靈測(cè)試還是很重要的問(wèn)題之一机久。

這篇論文提前預(yù)設(shè)好機(jī)器人的身份檔案,并且做到在相關(guān)的問(wèn)答中做到與設(shè)置的一致浊闪,就可以讓機(jī)器人在回答時(shí)能夠有一定的身份特征。和其他的區(qū)別是不用從對(duì)話中慢慢學(xué)習(xí)出個(gè)性。

模型效果:

假設(shè)機(jī)器人的預(yù)設(shè)檔案為:

本論文的模型與普通的 seq2seq 效果比較為:


模型由三個(gè)模塊組成:

  1. 一個(gè)檔案檢測(cè)器 Profile Detector尘分,一是來(lái)決定是否要根據(jù)檔案來(lái)回答,二是根據(jù)哪個(gè)關(guān)鍵字答復(fù)丸氛。
  2. 一個(gè)雙向解碼器 Bidirectional Decoder培愁,用于從選定的檔案值出發(fā)向前和向后生成答復(fù)。
  3. 一個(gè)位置檢測(cè)器 position detector缓窜,用于預(yù)測(cè)選定的檔案值后要從哪個(gè)位置開(kāi)始解碼定续,把位置傳遞給 decoder。

整體:

  1. 給定一個(gè)提問(wèn)后禾锤,先看是否需要用檔案內(nèi)容回答私股,不需要的話,就用通常的 seq2seq 來(lái)生成回復(fù)恩掷;
    需要的話倡鲸,先用 Profile Detector 選擇合適的 key-value。
  2. 然后用 Bidirectional Decoder 以這個(gè) value 為起點(diǎn)向前向后生成答復(fù)黄娘。
  3. position detector 用來(lái)改善 training峭状,test 集的差異問(wèn)題,只在模型訓(xùn)練時(shí)用逼争。

模型細(xì)節(jié):

提問(wèn):x = x1x2···xn, 被 Encoder 將 post 轉(zhuǎn)化后的向量 x = x1x2 · · · xn优床。x 的隱藏層狀態(tài)由 GRU 獲得 h = (h1, h2, · · ·, hn)
檔案:{< ki, vi > |i = 1, 2, · · · , K}
回答:y=y1y2···ym

問(wèn)題建模:

1. Profile Detector

1. 其中 P(z|x) 是根據(jù)提問(wèn) x誓焦,看需要用檔案來(lái)回答的概率羔巢,由 Profile Detector 計(jì)算出。

由訓(xùn)練的二分類器得到 P (z|x) = P (z| h~) = σ(Wp h~),h~ 是所有 hj 的和竿秆,Wp 是分類器的參數(shù)启摄。

βi = MLP([ h~, ki, vi]) =f(W ·[ h~;ki;vi]),用來(lái)決定根據(jù)哪個(gè)關(guān)鍵字答復(fù)幽钢,其中 f 為 softmax 激活函數(shù)歉备,選擇概率最大的那一組 key-value。

2. Bidirectional Decoder:

2. Pfr(y|x) 是根據(jù) x 生成 y匪燕,由通常的 forward decoder 生成蕾羊。

3. Pbi(y|x, {< ki, vi >}) 是根據(jù) x 和檔案生成 y,由 Bidirectional Decoder 生成:

y = (yb, v~, yf ) 為生成的回復(fù)帽驯,v~ 是選中的 value:

先由 x龟再,v~ 得到 yb,再由 x尼变,v~利凑,yb 得到 yf。

Pb嫌术,Pf 通過(guò)下式計(jì)算:

其中 sj 是 decoder 的相應(yīng)狀態(tài)哀澈,cj 是語(yǔ)境的向量:

P frP bi 的參數(shù)不是共享的。

3. position detector:

因?yàn)橛糜谟?xùn)練的問(wèn)答句是從社交網(wǎng)站上獲得的度气,前面識(shí)別出來(lái)的 value 可能并不會(huì)出現(xiàn)在答復(fù)中割按,這樣 bidirectional decoder 就會(huì)不知道從哪個(gè)位置開(kāi)始,所以在這一步會(huì)做相關(guān)的處理磷籍。

例如适荣,

post x =“你-1 有-2 什么-3 特長(zhǎng)-4 ?-5 
response y =“我-1 非常-2 擅長(zhǎng)-3 小提琴- 4
a profile key value pair “<特長(zhǎng), 鋼琴>

那么 “小 提 琴-4 ” 的位置會(huì)傳遞給 decoder,然后替換成“鋼 琴”院领。

P (j|y1y2 · · · ym, < k, v > )), 1 ≤ j ≤ m 來(lái)表示 yj 可以被 v 替換的概率弛矛。

計(jì)算方法用兩個(gè)單詞的距離:

P(j|y,< k,v >)) ∝ cos(yj,v)


損失函數(shù):

由兩部分組成:

L = L1 + αL2

1. L1 是生成答復(fù)的,根據(jù)最開(kāi)始的問(wèn)題模型可以得到:

D( c) 是只有 post-response 對(duì)的栅盲,D(pr) 是 post汪诉,value-response 的。

2. L2 是 profile detector 預(yù)測(cè)是否用檔案及用哪個(gè)關(guān)鍵詞的谈秫,根據(jù)前面定義過(guò)的 P(z|x)βi

z=0 不用扒寄,z=1 用, k^ 是鎖定的 key拟烫。


推薦閱讀 歷史技術(shù)博文鏈接匯總
http://www.reibang.com/p/28f02bb59fe5
也許可以找到你想要的:
[入門問(wèn)題][TensorFlow][深度學(xué)習(xí)][強(qiáng)化學(xué)習(xí)][神經(jīng)網(wǎng)絡(luò)][機(jī)器學(xué)習(xí)][自然語(yǔ)言處理][聊天機(jī)器人]

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末该编,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子硕淑,更是在濱河造成了極大的恐慌课竣,老刑警劉巖嘉赎,帶你破解...
    沈念sama閱讀 211,743評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異于樟,居然都是意外死亡公条,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門迂曲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)靶橱,“玉大人,你說(shuō)我怎么就攤上這事路捧」匕裕” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,285評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵杰扫,是天一觀的道長(zhǎng)队寇。 經(jīng)常有香客問(wèn)我,道長(zhǎng)章姓,這世上最難降的妖魔是什么佳遣? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,485評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮啤覆,結(jié)果婚禮上苍日,老公的妹妹穿的比我還像新娘惭聂。我一直安慰自己窗声,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,581評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布辜纲。 她就那樣靜靜地躺著笨觅,像睡著了一般。 火紅的嫁衣襯著肌膚如雪耕腾。 梳的紋絲不亂的頭發(fā)上见剩,一...
    開(kāi)封第一講書(shū)人閱讀 49,821評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音扫俺,去河邊找鬼苍苞。 笑死,一個(gè)胖子當(dāng)著我的面吹牛狼纬,可吹牛的內(nèi)容都是我干的羹呵。 我是一名探鬼主播,決...
    沈念sama閱讀 38,960評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼疗琉,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼冈欢!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起盈简,我...
    開(kāi)封第一講書(shū)人閱讀 37,719評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤凑耻,失蹤者是張志新(化名)和其女友劉穎太示,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體香浩,經(jīng)...
    沈念sama閱讀 44,186評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡类缤,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,516評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了邻吭。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呀非。...
    茶點(diǎn)故事閱讀 38,650評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖镜盯,靈堂內(nèi)的尸體忽然破棺而出岸裙,到底是詐尸還是另有隱情,我是刑警寧澤速缆,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布降允,位于F島的核電站,受9級(jí)特大地震影響艺糜,放射性物質(zhì)發(fā)生泄漏剧董。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,936評(píng)論 3 313
  • 文/蒙蒙 一破停、第九天 我趴在偏房一處隱蔽的房頂上張望翅楼。 院中可真熱鬧,春花似錦真慢、人聲如沸毅臊。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,757評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)管嬉。三九已至,卻和暖如春朗鸠,著一層夾襖步出監(jiān)牢的瞬間蚯撩,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,991評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工烛占, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留胎挎,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,370評(píng)論 2 360
  • 正文 我出身青樓忆家,卻偏偏與公主長(zhǎng)得像犹菇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子弦赖,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,527評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容

  • 聊天機(jī)器人[http://lib.csdn.net/base/robot](也可以稱為語(yǔ)音助手项栏、聊天助手、對(duì)話機(jī)器...
    mlion閱讀 2,781評(píng)論 1 11
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理蹬竖,服務(wù)發(fā)現(xiàn)沼沈,斷路器流酬,智...
    卡卡羅2017閱讀 134,633評(píng)論 18 139
  • 原本中秋假期想去浙西清涼山,結(jié)果查天氣預(yù)報(bào)下雨列另;突然想起來(lái)以前看過(guò)的一篇五臺(tái)山徒步的帖子芽腾,再看預(yù)報(bào)是好天氣,于是就...
    youngspring1閱讀 316評(píng)論 0 2
  • 大暑页衙。婺江的天空摊滔,竟是新鮮飽滿的天藍(lán)色,比起深邃的蔚藍(lán)店乐,這一抹天藍(lán)像一頑皮的孩子艰躺,在白云間雀躍涌動(dòng)著,竟讓人心潮澎...
    靜默如梅閱讀 487評(píng)論 4 4
  • 坐在D367上眨八,我開(kāi)始了第一篇日記腺兴。不斷循環(huán)的列車通告還是讓人有些煩躁,不過(guò)念白中一次明顯的吞咽聲還是讓我不懷好意...
    DerrickWang閱讀 161評(píng)論 0 1