1. 簡(jiǎn)稱(chēng)
論文《A Novel Bi-directional Interrelated Model for Joint Intent Detection and Slot Filling》,作者Haihong E(Beijing University of Posts and Telecommunications, Beijing, China)
,簡(jiǎn)稱(chēng)SF-ID Network
哥攘,經(jīng)典的NLU論文(Semantic Frame)
助琐。
2. 摘要
口語(yǔ)理解(SLU)系統(tǒng)包括兩個(gè)主要任務(wù)率拒,插槽填充(SF)和意圖檢測(cè)(ID)茶敏。這兩個(gè)任務(wù)的聯(lián)合模型正在成為SLU中的一種趨勢(shì)下硕。但是玉工,現(xiàn)有聯(lián)合模型中未建立意圖和插槽之間的雙向關(guān)聯(lián)連接羽资。
在本文中,我們提出了一種用于聯(lián)合意圖檢測(cè)和插槽填充的雙向關(guān)聯(lián)模型
遵班。我們引入了SF-ID網(wǎng)絡(luò)來(lái)建立兩個(gè)任務(wù)的直接連接屠升,以幫助它們相互促進(jìn)潮改。此外,我們?cè)赟F-ID網(wǎng)絡(luò)內(nèi)部設(shè)計(jì)了一種全新的迭代機(jī)制腹暖,以增強(qiáng)雙向相互關(guān)聯(lián)的連接汇在。實(shí)驗(yàn)結(jié)果表明,與最新模型相比微服,在ATIS和Snips數(shù)據(jù)集上趾疚,我們模型的句子級(jí)語(yǔ)義框架準(zhǔn)確性相對(duì)提高了3.79%和5.42%。
3. 引言
口語(yǔ)理解在口語(yǔ)對(duì)話系統(tǒng)中起著重要作用以蕴。 SLU旨在從用戶話語(yǔ)中提取語(yǔ)義糙麦。具體而言,它可以識(shí)別意圖并捕獲語(yǔ)義成分丛肮。
這兩個(gè)任務(wù)分別稱(chēng)為意圖檢測(cè)和時(shí)隙填充(Tur和De Mori赡磅,2011)。例如宝与,表1中顯示了從ATIS語(yǔ)料庫(kù)中抽樣的“what flights leave from phoenix”這句話焚廊。可以看出习劫,該句子中的每個(gè)單詞都對(duì)應(yīng)一個(gè)插槽標(biāo)簽咆瘟,并且為整個(gè)句子分配了特定的意圖。
傳統(tǒng)的管道方法分別管理上述兩個(gè)任務(wù)诽里。目的檢測(cè)被視為預(yù)測(cè)目的標(biāo)簽的語(yǔ)義分類(lèi)問(wèn)題袒餐。支持向量機(jī)(SVM)
(Haffner等,2003)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)
(Lai等谤狡,2015)等通用方法都可以應(yīng)用灸眼。建議將插槽填充作為序列標(biāo)記任務(wù)。流行的方法包括條件隨機(jī)場(chǎng)(CRF)
(Raymond和Riccardi墓懂,2007)焰宣,長(zhǎng)短期記憶(LSTM)
網(wǎng)絡(luò)(Yao等人,2014)捕仔。
考慮到錯(cuò)誤傳播造成的管道方法性能不盡人意匕积,趨勢(shì)是針對(duì)意圖檢測(cè)和縫隙填充任務(wù)開(kāi)發(fā)聯(lián)合模型
(Chen等,2016a榜跌; Zhang和Wang闪唆,2016)。 Liu and Lane(2016)提出了一種基于注意力的RNN模型
斜做。但是苞氮,它只是應(yīng)用了聯(lián)合損失函數(shù)來(lái)隱式鏈接兩個(gè)任務(wù)。 Hakkani-Tu?r et al.(2016年)引入了一個(gè)RNN-LSTM模型
瓤逼,其中沒(méi)有建立槽和意圖之間的顯式關(guān)系笼吟。 Goo et al.(2018年)提出了一種槽控模型库物,該模型將意圖信息應(yīng)用于槽填充任務(wù)并獲得了卓越的性能。但是在意圖檢測(cè)任務(wù)中不使用插槽信息贷帮。雙向直接連接仍未建立戚揭。實(shí)際上,槽位和意圖是相關(guān)的撵枢,并且兩個(gè)任務(wù)可以相互加強(qiáng)民晒。本文提出了一個(gè)由SF子網(wǎng)和ID子網(wǎng)組成的SF-ID網(wǎng)絡(luò)。 SF子網(wǎng)將意圖信息應(yīng)用于插槽填充任務(wù)锄禽,而ID子網(wǎng)將插槽信息用于意圖檢測(cè)任務(wù)潜必。
在這種情況下,可以為兩個(gè)任務(wù)建立雙向的相互關(guān)聯(lián)的連接沃但。我們的貢獻(xiàn)概括如下:
- 我們提出一個(gè)SF-ID網(wǎng)絡(luò)磁滚,以建立用于插槽填充和意圖檢測(cè)任務(wù)的相互關(guān)聯(lián)的機(jī)制。特別是宵晚,提出使用新穎的ID子網(wǎng)將插槽信息應(yīng)用于意圖檢測(cè)任務(wù)垂攘。
- 我們?cè)赟F-ID網(wǎng)絡(luò)內(nèi)部建立了一種新穎的迭代機(jī)制,以增強(qiáng)意圖和插槽之間的聯(lián)系淤刃。
- 在兩個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明了該模型的有效性和優(yōu)越性晒他。
4. 核心
本節(jié)首先介紹我們?nèi)绾瓮ㄟ^(guò)注意機(jī)制獲取插槽上下文和意圖的集成。然后逸贾,它提出了一個(gè)SF-ID網(wǎng)絡(luò)
陨仅,該網(wǎng)絡(luò)在意圖和插槽之間建立了直接連接「荩基于雙向LSTM(BLSTM)的模型架構(gòu)如圖2所示掂名。
4.1 Integration of Context(上下文整合)
在SLU中据沈,單詞標(biāo)簽不僅取決于相應(yīng)的術(shù)語(yǔ)哟沫,還取決于上下文(Chen et al. 2016b)。意圖標(biāo)簽也與話語(yǔ)中的每個(gè)元素相關(guān)锌介。為了捕獲這種依賴(lài)嗜诀,引入了注意機(jī)制。
Slot filling:
第個(gè)時(shí)隙上下文向量
是BLSTM隱藏狀態(tài)
的加權(quán)和:
其中注意力權(quán)重的獲取方法與(Liu and Lane,2016)中相同崔慧。
Intent detection:
意圖上下文向量的計(jì)算方法與
相同拂蝎,特別是它只為整個(gè)句子生成一個(gè)意圖標(biāo)簽。
4.2 SF-ID Network
SF-ID網(wǎng)絡(luò)由SF子網(wǎng)和ID子網(wǎng)組成惶室。 SF和ID子網(wǎng)的順序可以自定義温自。根據(jù)兩個(gè)子網(wǎng)的順序玄货,模型具有兩種模式:SF-First和ID-First。前一個(gè)子網(wǎng)可以通過(guò)中間向量對(duì)后一個(gè)子網(wǎng)產(chǎn)生積極的影響悼泌。
4.2.1 SF-First Mode
在SF優(yōu)先模式下松捉,首先執(zhí)行SF子網(wǎng)。我們?cè)赟F子網(wǎng)中應(yīng)用了意圖上下文向量和插槽上下文向量
馆里,并生成了時(shí)隙增強(qiáng)向量
隘世。然后,將新形成的向量
饋送到ID子網(wǎng)以帶來(lái)時(shí)隙信息鸠踪。
SF subnet:
SF子網(wǎng)在計(jì)算相關(guān)因子時(shí)應(yīng)用意圖和時(shí)隙信息(即
和
)丙者,該因子可以指示意圖和時(shí)隙的關(guān)系。該相關(guān)因子
定義為:
另外营密,我們引入由(3)定義的時(shí)隙增強(qiáng)向量蔓钟,并將其饋送到ID子網(wǎng)以帶來(lái)時(shí)隙信息。
ID subnet:
我們介紹了一個(gè)新穎的ID子網(wǎng)卵贱,該子網(wǎng)將插槽信息應(yīng)用于意圖檢測(cè)任務(wù)滥沫。我們相信,插槽代表單詞級(jí)別的信息键俱,而意圖代表句子級(jí)別兰绣。混合信息可以滿足意圖檢測(cè)任務(wù)的要求编振。插槽增強(qiáng)向量被饋送到ID子網(wǎng)以生成增強(qiáng)向量
缀辩,其定義如下:
的權(quán)重
計(jì)算為:
我們還介紹了一種意圖增強(qiáng)向量,它是根據(jù)增強(qiáng)向量
和意圖上下文向量
之和計(jì)算得出的踪央。
Iteration Mechanism:
意向增強(qiáng)向量也可以饋入SF子網(wǎng)臀玄。實(shí)際上,此意圖增強(qiáng)向量
可以改善關(guān)系因子
的效果畅蹂,因?yàn)樗鈭D和廣告位的混合信息健无,并且(2)可以替換為:
隨著關(guān)系因子的變化,獲得了新的時(shí)隙增強(qiáng)矢量
液斜。因此累贤,ID子網(wǎng)可以使用新的
并導(dǎo)出新的
。在這種情況下,SF子網(wǎng)和ID子網(wǎng)都將更新,一次迭代完成危尿。
從理論上講,SF子網(wǎng)和ID子網(wǎng)之間的交互可以無(wú)限地重復(fù)渗磅,這在我們的模型中被稱(chēng)為迭代機(jī)制。意向和時(shí)隙增強(qiáng)向量充當(dāng)SF子網(wǎng)和ID子網(wǎng)之間的鏈接,并且它們的值在迭代過(guò)程中不斷變化始鱼。
在迭代機(jī)制之后论巍,和
分別參與intent和slot的最終預(yù)測(cè)。對(duì)于意圖檢測(cè)任務(wù)风响,在最終意圖預(yù)測(cè)中利用了BLSTM的意圖增強(qiáng)矢量
和最后一個(gè)隱藏狀態(tài)
:
對(duì)于插槽填充任務(wù)嘉汰,隱藏狀態(tài)與相應(yīng)的插槽增強(qiáng)向量綁定,在第
個(gè)時(shí)隙標(biāo)簽預(yù)測(cè)中使用
状勤。插槽沒(méi)有CRF層的最終表達(dá)式是:
4.2.2 ID-First Mode
在ID優(yōu)先模式下鞋怀,ID子網(wǎng)先于SF子網(wǎng)執(zhí)行。在這種情況下持搜,第一次迭代中ID子網(wǎng)的計(jì)算存在一些差異密似。
ID subnet:
與Slot-First模式不同,增強(qiáng)向量由BLSTM的隱藏狀態(tài)和上下文向量獲取葫盼。因此残腌,(4)(5)(6)可以替換為:
意圖增強(qiáng)向量仍然由(7)定義,并將其饋送到SF子網(wǎng)贫导。
SF subnet:
意向增強(qiáng)向量rinte被饋送到SF子網(wǎng)抛猫,并且關(guān)系因子f的計(jì)算方法與(8)相同。其他算法詳細(xì)信息與SF-First模式相同孩灯。
Iteration Mechanism:
除了兩個(gè)子網(wǎng)的順序外闺金,ID-First模式下的迭代機(jī)制與SF-First模式下的迭代機(jī)制幾乎相同。
4.2.3 CRF layer
插槽填充本質(zhì)上是一個(gè)序列標(biāo)記問(wèn)題峰档。對(duì)于序列標(biāo)記任務(wù)败匹,考慮鄰域中標(biāo)記之間的相關(guān)性是有益的。因此讥巡,我們?cè)赟F子網(wǎng)輸出上方添加CRF層掀亩,以聯(lián)合解碼話語(yǔ)標(biāo)簽的最佳鏈。
5. 實(shí)驗(yàn)
Dataset:
我們使用兩個(gè)公共數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)欢顷,即廣泛使用的ATIS數(shù)據(jù)集(Hemphill et al. 1990年)和被稱(chēng)為Snips(Coucke et al. 2018年)的自定義意圖引擎數(shù)據(jù)集槽棍,該數(shù)據(jù)集是由Snips個(gè)人語(yǔ)音助理收集的。與ATIS數(shù)據(jù)集相比吱涉,Snips數(shù)據(jù)集詞匯量大刹泄、跨域意圖復(fù)雜外里。
Evaluation Metrics:
我們實(shí)驗(yàn)中使用三個(gè)評(píng)估指標(biāo)怎爵。對(duì)于插槽填充任務(wù),將應(yīng)用F1分?jǐn)?shù)盅蝗。對(duì)于意圖檢測(cè)任務(wù)鳖链,要利用準(zhǔn)確性。此外,句子級(jí)別的語(yǔ)義框架準(zhǔn)確性(句子準(zhǔn)確性)用于指示這兩項(xiàng)任務(wù)的總體性能芙委,這是指整個(gè)語(yǔ)料庫(kù)中其插槽和意圖均得到正確預(yù)測(cè)的句子所占的比例逞敷。
Training Details:
在我們的實(shí)驗(yàn)中,BLSTM網(wǎng)絡(luò)的層大小設(shè)置為64灌侣。在訓(xùn)練過(guò)程中推捐,應(yīng)用了Adam優(yōu)化算法(Kingma and Ba,2014)侧啼。此外牛柒,學(xué)習(xí)率以更新,衰減率為
痊乾,初始學(xué)習(xí)率為
皮壁,
表示完成的步數(shù)。
Model Performance:
表2給出了模型的性能哪审,其中可以看出蛾魄,我們的模型在所有三個(gè)方面都優(yōu)于基線:槽位填充(F1),意圖檢測(cè)(Acc)和句子準(zhǔn)確性(Acc)湿滓。特別是滴须,在句子級(jí)語(yǔ)義框架結(jié)果上,ATIS和Snips的相對(duì)改進(jìn)分別約為3.79%和5.42%叽奥,表明SF-ID網(wǎng)絡(luò)可以通過(guò)引入槽和意圖的雙向關(guān)聯(lián)機(jī)制
顯著提高SLU性能描馅。
Analysis of Seperate Subnets:
我們分析了單獨(dú)子網(wǎng)的影響,得到的結(jié)果如表3所示而线。實(shí)驗(yàn)是在增加CRF層的情況下進(jìn)行的铭污。可以看出膀篮,僅包括SF子網(wǎng)和ID子網(wǎng)的兩種模型都比BLSTM模型獲得了更好的結(jié)果嘹狞。因此,我們認(rèn)為SF子網(wǎng)和ID子網(wǎng)在性能提升方面都有重要意義誓竿。
此外磅网,我們還分析了SF和ID子網(wǎng)獨(dú)立的情況,即SF和ID子網(wǎng)沒(méi)有交互的情況筷屡。我們可以看到涧偷,它也取得了很好的效果。但是毙死,SF-ID網(wǎng)絡(luò)允許兩個(gè)子網(wǎng)進(jìn)行交互燎潮,取得了更好的效果。這是因?yàn)?code>雙向關(guān)聯(lián)機(jī)制有助于兩個(gè)子網(wǎng)相互促進(jìn)扼倘,從而提高了兩個(gè)任務(wù)的性能确封。
Analysis of Model Mode:
在表2中,可以看出ID-First模式在插槽填充任務(wù)中實(shí)現(xiàn)了更好的性能。這是因?yàn)镮D-First模式將時(shí)隙填充任務(wù)視為更重要的任務(wù)爪喘,因?yàn)镾F子網(wǎng)可以利用從ID子網(wǎng)輸出的意圖信息颜曾。同樣,SF-First模式在意圖檢測(cè)任務(wù)中表現(xiàn)更好秉剑。通常泛豪,兩種模式之間的差異很小。
Iteration Mechanism:
迭代機(jī)制的效果如圖3所示侦鹏。實(shí)驗(yàn)以SF-First模式進(jìn)行候址。句子準(zhǔn)確性被應(yīng)用為性能度量,因?yàn)樗梢苑从晨傮w模型性能种柑。當(dāng)ATIS和Snips數(shù)據(jù)集上的迭代次數(shù)均為3時(shí)岗仑,它會(huì)逐漸增加并達(dá)到最大值,表明有效的交互機(jī)制的重要性聚请。它可以歸功于迭代機(jī)制荠雕,它可以增強(qiáng)意圖和槽之間的連接。之后驶赏,句子的準(zhǔn)確度逐漸降低炸卑,而下降幅度很小∶喊總而言之盖文,具有適當(dāng)?shù)螖?shù)的迭代機(jī)制可以使SLU性能受益。
CRF Layer:
從表2中可以看出蚯姆,CRF層對(duì)總體模型性能具有積極影響五续。
這是因?yàn)镃RF層可以在句子級(jí)別獲得最大可能的標(biāo)簽序列。但是龄恋,CRF層主要關(guān)注序列標(biāo)記問(wèn)題疙驾。因此,插槽填充任務(wù)的改進(jìn)顯然超過(guò)了意圖檢測(cè)任務(wù)的改進(jìn)郭毕。通常它碎,通過(guò)CRF層可以提高性能。
我們提出了一種新穎的SF-ID網(wǎng)絡(luò)显押,該網(wǎng)絡(luò)為意圖檢測(cè)和時(shí)隙填充任務(wù)提供了雙向相互關(guān)聯(lián)的機(jī)制扳肛。并提出了一種迭代機(jī)制來(lái)增強(qiáng)意圖和槽之間的相互聯(lián)系。雙向相互關(guān)聯(lián)的模型可幫助兩個(gè)任務(wù)相互促進(jìn)乘碑。
6. 重點(diǎn)論文
- Yun-Nung Chen, Dilek Hakkani-Tu ?r, Go ?khan Tu ?r, Jianfeng Gao, and Li Deng. 2016b. End-to-end memory networks with knowledge carryover for multi-turn spoken language understanding. In IN- TERSPEECH, pages 3245–3249.
- Dilek Hakkani-Tu ?r, Go ?khan Tu ?r, Asli Celikyilmaz, Yun-Nung Chen, Jianfeng Gao, Li Deng, and Ye- Yi Wang. 2016. Multi-domain joint semantic frame parsing using bi-directional rnn-lstm. In Inter- speech, pages 715–719.
- Bing Liu and Ian Lane. 2016. Attention-based recurrent neural network models for joint intent detection and slot filling. arXiv preprint arXiv:1609.01454.
- Kaisheng Yao, Baolin Peng, Yu Zhang, Dong Yu, Ge- offrey Zweig, and Yangyang Shi. 2014. Spoken language understanding using long short-term memory neural networks. In Spoken Language Technology Workshop (SLT), 2014 IEEE, pages 189–194. IEEE.
- Xiaodong Zhang and Houfeng Wang. 2016. A joint model of intent determination and slot filling for spoken language understanding. In IJCAI, pages 2993–2999.
7. 代碼編寫(xiě)
本文源碼地址:https://github.com/ZephyrChenzf/SF-ID-Network-For-NLU
# 后續(xù)追加代碼分析
參考文獻(xiàn)
- E, H., Niu, P., Chen, Z., & Song, M. (2019). A Novel Bi-directional Interrelated Model for Joint Intent Detection and Slot Filling. ACL.