1. 簡(jiǎn)稱
論文《Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM》簡(jiǎn)稱Seq Joint罢浇，作者Dilek Hakkani-Tu ?r（Microsoft），經(jīng)典的NLU論文（Semantic Frame）。
2. 摘要
序列到序列深度學(xué)習(xí)是近年來在口語理解的監(jiān)督學(xué)習(xí)中出現(xiàn)的一種新范式。然而，以前的大多數(shù)研究都是探索這一框架來為每個(gè)任務(wù)建立單個(gè)領(lǐng)域模型，(如空位填充或領(lǐng)域分類)，并將基于深度學(xué)習(xí)的方法與傳統(tǒng)的方法(如條件隨機(jī)場(chǎng))進(jìn)行比較。
本文提出了一種整體的多領(lǐng)域蛀恩、多任務(wù)(即空位填充、領(lǐng)域和意圖檢測(cè))建模方法來估計(jì)針對(duì)會(huì)話系統(tǒng)的所有用戶話語的完整語義框架茂浮，展示了深度學(xué)習(xí)方法的獨(dú)特能力双谆，即具有長(zhǎng)-短期記憶(LSTM)單元的雙向遞歸神經(jīng)網(wǎng)絡(luò)(RNN-LSTM)來處理這種復(fù)雜性。
本文的貢獻(xiàn)有三個(gè)方面：(I)我們提出了一個(gè)RNN-LSTM體系結(jié)構(gòu)席揽，用于空位填充顽馋、意圖確定和領(lǐng)域分類的聯(lián)合建模；(Ii)我們建立了一個(gè)聯(lián)合多領(lǐng)域模型幌羞，支持多任務(wù)深度學(xué)習(xí)趣避，每個(gè)領(lǐng)域的數(shù)據(jù)相互補(bǔ)充；(Iii)我們研究了口語理解中詞匯上下文建模的替代體系結(jié)構(gòu)新翎。
除了簡(jiǎn)化單一模型框架之外程帕，實(shí)驗(yàn)結(jié)果表明，與基于單域/任務(wù)深度學(xué)習(xí)的替代方法相比地啰，該方法在Microsoft Cortana真實(shí)用戶數(shù)據(jù)上的能力更強(qiáng)愁拭。
3. 引言
在過去的十年中，已經(jīng)針對(duì)許多領(lǐng)域構(gòu)建了各種實(shí)用的面向目標(biāo)的對(duì)話理解系統(tǒng)亏吝，例如Microsoft Cortana和Apple的Siri虛擬個(gè)人助理岭埠。在這類有針對(duì)性的理解應(yīng)用程序中，三個(gè)關(guān)鍵任務(wù)是域分類蔚鸥，意圖確定和時(shí)隙填充惜论，旨在形成一個(gè)語義框架，以捕獲用戶話語/查詢的語義止喷。領(lǐng)域分類通常首先在口語理解（SLU）系統(tǒng)中完成馆类，用作后續(xù)處理的頂級(jí)分類。然后為每個(gè)域運(yùn)行意圖確定和時(shí)隙填充弹谁，以填充特定于域的語義模板乾巧。圖1顯示了與電影相關(guān)的話語的示例語義框架“find recent comedies by James Cameron”句喜。
這種模塊化設(shè)計(jì)方法（即將SLU建模為3個(gè)任務(wù)）具有靈活性的優(yōu)勢(shì)；可以對(duì)域進(jìn)行特定的修改（例如插入沟于，刪除）咳胃，而無需更改其他域。另一個(gè)優(yōu)點(diǎn)是旷太，采用這種方法展懈，可以使用特定于任務(wù)/領(lǐng)域的功能，這通彻╄担可以顯著提高這些功能的準(zhǔn)確性标沪。此外，由于意圖確定只需要考慮單個(gè)（或有限集合）域上相對(duì)較小的意圖和插槽類集嗜傅，并且可以優(yōu)化模型參數(shù)，因此該方法通常在每個(gè)域中產(chǎn)生更集中的理解檩赢。用于特定的意圖和廣告位吕嘀。但是，這種方法也有缺點(diǎn)：首先贞瞒，需要針對(duì)每個(gè)域訓(xùn)練這些模型偶房。這是一個(gè)容易出錯(cuò)的過程，需要進(jìn)行仔細(xì)的工程設(shè)計(jì)以確本跨域處理的一致性棕洋。同樣，在運(yùn)行時(shí)乒融，這種任務(wù)的流水線處理將導(dǎo)致錯(cuò)誤從一個(gè)任務(wù)轉(zhuǎn)移到以下任務(wù)掰盘。此外，各個(gè)領(lǐng)域模型之間沒有數(shù)據(jù)或功能共享赞季，從而導(dǎo)致數(shù)據(jù)碎片愧捕，而某些語義意圖（例如，查找或購(gòu)買特定領(lǐng)域的實(shí)體）和廣告位（例如申钩，日期次绘，時(shí)間和位置）實(shí)際上可能是許多領(lǐng)域所共有的。最后撒遣，用戶可能不知道系統(tǒng)覆蓋了哪些域以及覆蓋的程度邮偎，因此此問題導(dǎo)致交互，用戶不知道期望什么义黎，從而導(dǎo)致用戶不滿意禾进。
我們提出了一個(gè)單一的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）體系結(jié)構(gòu)，該體系結(jié)構(gòu)將域檢測(cè)廉涕，意圖檢測(cè)和時(shí)隙填充這三個(gè)任務(wù)集成到一個(gè)SLU模型中命迈。使用來自所有域的所有可用話語以及它們的語義框架來訓(xùn)練該模型贩绕。該RNN的輸入是單詞的輸入序列（例如，用戶查詢）壶愤，輸出是完整的語義框架淑倾，包括域，意圖和時(shí)隙征椒，如圖1所示娇哆。由于單詞之間的依賴性對(duì)于SLU很重要在任務(wù)中，我們研究了用于集成詞法上下文和依賴項(xiàng)的替代體系結(jié)構(gòu)勃救。我們將單模型方法與為多任務(wù)碍讨，多域方案構(gòu)建模型的替代方法進(jìn)行了比較。
下一節(jié)將基于空位填充任務(wù)設(shè)置基線RNN-LSTM體系結(jié)構(gòu)蒙秒，并探討各種利用詞匯上下文的體系結(jié)構(gòu)勃黍。在第3節(jié)中，我們將這種體系結(jié)構(gòu)擴(kuò)展到除了時(shí)隙填充之外晕讲，還可以對(duì)用戶話語的域和意圖進(jìn)行建模覆获，并提出了SLU的多域多任務(wù)體系結(jié)構(gòu)。在實(shí)驗(yàn)中瓢省，我們首先在基準(zhǔn)ATIS數(shù)據(jù)集上研究替代體系結(jié)構(gòu)的性能弄息，然后在Microsoft Cortana多域域數(shù)據(jù)上進(jìn)行研究。我們表明勤婚，單一的多域聯(lián)合模型方法不僅更簡(jiǎn)單摹量，而且可以得到最佳的F度量。
4. 核心
在面向目標(biāo)的人機(jī)對(duì)話理解系統(tǒng)中馒胆，口語言理解的一項(xiàng)主要任務(wù)是自動(dòng)對(duì)用戶查詢的域以及特定領(lǐng)域的意圖進(jìn)行分類缨称，并填寫一組參數(shù)或“槽”以形成一個(gè)語義框架。在本研究中祝迂，我們遵循流行的IOB（從內(nèi)到外）格式來表示插槽標(biāo)簽具钥，如圖1所示。
基本上液兽，域檢測(cè)和意圖確定任務(wù)被歸類為分類問題骂删，為此，研究人員采用了支持向量機(jī)四啰，最大熵分類器或基于增強(qiáng)的分類器宁玫。類似地，時(shí)隙填充被構(gòu)造為一個(gè)序列分類問題柑晒，并且已經(jīng)采用了隱馬爾可夫模型和條件隨機(jī)場(chǎng)欧瘪。
隨著深度學(xué)習(xí)的發(fā)展，首先將具有深度神經(jīng)網(wǎng)絡(luò)（DNN）的深度信念網(wǎng)絡(luò)（DBN）用于呼叫中心的意圖確定匙赞，隨后將其用于個(gè)人助理的域分類佛掖。最近妖碉，已采用具有LSTM單元的RNN架構(gòu)進(jìn)行意圖分類。
對(duì)于空位填充芥被，深度學(xué)習(xí)研究已作為DNN和DBN的擴(kuò)展而開始欧宜，有時(shí)與CRF合并。一個(gè)值得注意的擴(kuò)展是使用遞歸神經(jīng)網(wǎng)絡(luò)拴魄，將問題歸結(jié)為語義解析冗茸。據(jù)我們所知，Rao等人首先將RNN用于時(shí)隙填充匹中。 我們對(duì)基于RNN的時(shí)隙填充方法進(jìn)行了全面的綜述夏漱。
尤其是隨著重新發(fā)現(xiàn)RNN的LSTM細(xì)胞[25]，這種體系結(jié)構(gòu)已經(jīng)開始出現(xiàn)顶捷。如圖所示挂绰，LSTM電池具有優(yōu)越的性能，例如更快的收斂性和通過自我調(diào)節(jié)而消除了梯度逐漸消失或爆炸的問題服赎。結(jié)果葵蒂，LSTM在捕獲大跨度依存關(guān)系方面比RNN更健壯。
4.1 RNN with LSTM cells for slot filling
為了估算與令牌輸入序列對(duì)應(yīng)的標(biāo)簽序列
，我們使用Elman RNN體系結(jié)構(gòu)伍宦，由輸入層組成芽死，一個(gè)隱藏層和一個(gè)輸出層。輸入次洼，隱藏和輸出層由一組神經(jīng)元組成关贵，分別代表每個(gè)時(shí)間步長(zhǎng)
的輸入揖曾，隱藏和輸出。輸入通常由獨(dú)熱向量或字級(jí)嵌入表示亥啦。給定時(shí)間
的輸入層
炭剪，以及上一個(gè)時(shí)間步
的隱藏狀態(tài)，當(dāng)前時(shí)間步的隱藏層和輸出層的計(jì)算如下：
其中和
是分別表示輸入層和隱藏層以及隱藏層和輸出層之間權(quán)重的矩陣翔脱。
表示激活函數(shù)奴拦，即
tanh或者sigm。softmax被定義為:届吁，該模型的權(quán)重是使用反向i訓(xùn)練的傳播以最大化訓(xùn)練集標(biāo)簽的條件似然：
先前的工作表明错妖，隨著時(shí)間的推移反向傳播的訓(xùn)練模型參數(shù)可能會(huì)導(dǎo)致梯度爆炸或消失绿鸣。梯度裁剪可以緩解梯度爆炸，但這無助于消除梯度暂氯。 LSTM單元設(shè)計(jì)用于緩解消失梯度問題潮模。除了隱藏層矢量之外，LSTM還維護(hù)一個(gè)存儲(chǔ)矢量
株旷，它可以使用門控機(jī)制和
型函數(shù)選擇從中讀取再登，寫入或重置。輸入門晾剖，用于按比例縮小輸入锉矢；遺忘門
用于縮小存儲(chǔ)向量
；輸出門
用于按比例縮小輸出以達(dá)到最終
齿尽。按照精確公式沽损，LSTM中的這些門的計(jì)算如下，如圖2所示：
其中循头，sigm tanh以元素方式應(yīng)用绵估，是權(quán)重矩陣，并且
4.2 Integration of context
在SLU中卡骂，單詞標(biāo)簽不僅由關(guān)聯(lián)的術(shù)語確定国裳，而且還取決于上下文。例如全跨，在ATIS數(shù)據(jù)中缝左，根據(jù)其出現(xiàn)的詞匯上下文，可以將城市名稱Boston標(biāo)記為始發(fā)城市或目的地城市浓若。為捕獲此類依存關(guān)系渺杉，我們研究了RNN-LSTM體系結(jié)構(gòu)的兩個(gè)擴(kuò)展（圖3.（a ））：環(huán)視LSTM（LSTM-LA）和雙向LSTM（bLSTM）。
在每個(gè)時(shí)間步上挪钓，除了之外是越，LSTM-LA（圖3.（b））通過將相鄰單詞的輸入向量進(jìn)行級(jí)聯(lián)，將后面和前面的單詞視為輸入的一部分碌上。在這項(xiàng)工作中倚评，我們?cè)跁r(shí)間t的輸入包含一個(gè)由向量??
串聯(lián)而成的向量蔓纠。
在bLSTM(圖3.(C))中，兩個(gè)LSTM架構(gòu)以從左到右和從右到左的方式遍歷吗蚌，并且在計(jì)算輸出序列時(shí)將它們的隱藏層連接在一起(我們使用上標(biāo)和
表示前后方向的參數(shù))：
其中正向和反向門分別計(jì)算如下：
為了使實(shí)現(xiàn)更有效腿倚，許多共享計(jì)算都進(jìn)行了一次，例如輸入向量準(zhǔn)備或頂級(jí)梯度計(jì)算蚯妇，其中
是目標(biāo)標(biāo)簽的one-hot向量敷燎。
圖3描繪了這三種架構(gòu)暂筝，以及意圖LSTM架構(gòu)，我們將其用于孤立建模意圖和領(lǐng)域作為基線硬贯。
4.3 Joint,Multi-Domain Modeling of Domain, Intent and Slots
代表時(shí)隙填充的時(shí)隙標(biāo)簽的一種常用方法是將話語的每個(gè)輸入單詞
與圖1所示的IOB樣式的標(biāo)簽相關(guān)聯(lián)焕襟，因此輸入序列
為
和輸出是插槽標(biāo)簽
的序列拄衰。我們遵循這種方法它褪，并將slot標(biāo)簽與每個(gè)單詞相關(guān)聯(lián)。
對(duì)于域翘悉，意圖和時(shí)隙的聯(lián)合建模茫打，我們?cè)诿總€(gè)輸入話語的末尾假設(shè)一個(gè)附加標(biāo)記，并通過串聯(lián)將域標(biāo)記和意圖標(biāo)記
和
的組合與此句子最終標(biāo)記關(guān)聯(lián)這些標(biāo)簽妖混。因此老赤，新的輸入和輸出序列為：
這種想法的主要原理類似于序列翻譯的建模方法，該方法用于機(jī)器翻譯或聊天系統(tǒng)方法中制市。該查詢的最后一個(gè)隱藏層應(yīng)該包含整個(gè)輸入話語的潛在語義表示抬旺，以便可以將其用于領(lǐng)域和意圖預(yù)測(cè)（）。
5. 實(shí)驗(yàn)
為了訓(xùn)練所有體系結(jié)構(gòu)祥楣，我們使用了具有10個(gè)示例和adagrad的批處理大小的小批量隨機(jī)梯度下降方法开财。在所有實(shí)驗(yàn)中，我們分別在{50荣堰，75床未，100竭翠，125振坚，150}中使用了不同的隱藏層大小，并在{0.01斋扰，0.05渡八，0.1}中使用了固定的學(xué)習(xí)率。我們僅使用詞匯功能（即不使用字典）传货，并使用獨(dú)熱單詞向量（包括所有詞匯）來表示輸入屎鳍。除了1-hot向量，我們還對(duì)word2vec 和Senna嵌入進(jìn)行了實(shí)驗(yàn)问裕，并且沒有觀察到明顯的性能改進(jìn)逮壁，因此僅報(bào)道了1-hot向量的結(jié)果。所有參數(shù)均在[-0.01粮宛，0.01]中統(tǒng)一初始化窥淆。
5.1 Data sets
為了研究時(shí)隙填充的上下文集成卖宠，我們對(duì)航空旅行領(lǐng)域的基準(zhǔn)ATIS數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。對(duì)于與聯(lián)合域忧饭，意圖和插槽建模有關(guān)的實(shí)驗(yàn)扛伍，選擇了四個(gè)域：警報(bào)，日歷词裤，通信和技術(shù)刺洒，以在詞匯量，意圖和插槽數(shù)量方面創(chuàng)建多樣化的集合吼砂。表1列出了每個(gè)數(shù)據(jù)集的訓(xùn)練逆航，發(fā)展和測(cè)試話語的數(shù)量，詞匯量帅刊，意圖和插槽的數(shù)量纸泡。如該表的最后一行所示，聯(lián)接的數(shù)據(jù)集小于單個(gè)域中的意圖和插槽的數(shù)量之和赖瞒，這是因?yàn)槠渲幸恍┰诓煌挠蛑g共享女揭。
5.2 Slot Filling Experiments
ATIS數(shù)據(jù)集帶有常用的訓(xùn)練和測(cè)試拆分。為了調(diào)整參數(shù)栏饮，我們進(jìn)一步將訓(xùn)練集分為90％訓(xùn)練集和10％開發(fā)集吧兔。在選擇使開發(fā)集上的F度量最大化的參數(shù)之后，我們使用具有10個(gè)不同初始化和平均F度量的最佳參數(shù)集的所有訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行了重新訓(xùn)練袍嬉。當(dāng)使用90％的訓(xùn)練樣本時(shí)境蔼，將最大F度量（最佳F）計(jì)算在測(cè)試集上，并通過對(duì)10次跑步中的F度量求平均值來計(jì)算平均F度量（平均F）伺通。當(dāng)所有訓(xùn)練示例都使用最佳參數(shù)時(shí)箍土。這些結(jié)果顯示在表2中。我們使用雙向LSTM架構(gòu)獲得了最佳的F度量（盡管與LSTM-LA相當(dāng)）罐监，RNN吴藻，LSTM和LSTM-LA的相對(duì)性能與我們先前的工作并行，但由于歸一化的差異弓柱，F(xiàn)測(cè)度略低沟堡。
5.3 Multi-Domain,Joint Model Experiments
在插槽填充實(shí)驗(yàn)之后，我們使用雙向LSTM單獨(dú)對(duì)插槽進(jìn)行建模矢空，并共同對(duì)意圖和插槽進(jìn)行建模航罗，然后，我們使用LSTM對(duì)意圖進(jìn)行建模屁药。
我們嘗試了4種設(shè)置粥血，并針對(duì)以下各項(xiàng)分別報(bào)告了插槽F度量（插槽F，表3），意圖準(zhǔn)確性（INTENT A复亏，表3和總體幀錯(cuò)誤率（OVERALL E绢彤，表4））：
SD-Sep:對(duì)于每個(gè)域，訓(xùn)練了一個(gè)單獨(dú)的意圖檢測(cè)和插槽填充模型蜓耻，結(jié)果為茫舶。分類器，其中
是域的數(shù)量刹淌。在每個(gè)實(shí)驗(yàn)的開發(fā)集中找到了最佳參數(shù)饶氏，并將這些參數(shù)用于測(cè)試集的性能計(jì)算。將所有分類器的輸出合并有勾，以獲取整體錯(cuò)誤率疹启。
SD-Joint:對(duì)于每個(gè)域，使用一個(gè)可同時(shí)估計(jì)槽的意圖和順序的模型蔼卡，結(jié)果為MD-Sep:使用來自所有領(lǐng)域的數(shù)據(jù)對(duì)意圖檢測(cè)模型和空位填充模型進(jìn)行了訓(xùn)練，得出了2個(gè)分類器雇逞。目的檢測(cè)的輸出與時(shí)隙填充的輸出合并荤懂，以計(jì)算總體模板錯(cuò)誤率。MD-Joint:使用所有數(shù)據(jù)訓(xùn)練了一個(gè)單獨(dú)的分類器塘砸，用于估計(jì)每個(gè)語義的完整語義框架节仿，其中包括域，意圖和時(shí)隙掉蔬。
前兩個(gè)設(shè)置假定為測(cè)試集中的每個(gè)示例提供了正確的域廊宪。為了估計(jì)這種更高級(jí)別的域估計(jì)，我們使用所有數(shù)據(jù)訓(xùn)練了一個(gè)用于域檢測(cè)的LSTM模型女轿，在測(cè)試集上域檢測(cè)的準(zhǔn)確性為95.5％箭启。表3顯示了前兩個(gè)設(shè)置的真實(shí)域已知時(shí)的意圖檢測(cè)和時(shí)隙填充的結(jié)果，因此這兩個(gè)設(shè)置的性能似乎更高蛉迹，但是傅寡，表4顯示了將域估計(jì)集成到?jīng)Q策中時(shí)的總體幀錯(cuò)誤率最后一幀。在單域和多域設(shè)置中婿禽，意圖訓(xùn)練的精度都會(huì)通過聯(lián)合訓(xùn)練而提高（盡管很猩蜕）大猛，但是插槽填充會(huì)降低扭倾。總體而言挽绩，我們使用單一模型方法實(shí)現(xiàn)了最低的誤差膛壹。所有數(shù)據(jù)上的13.4％語義誤幀率明顯優(yōu)于常用的SD-Sep。
6. 重點(diǎn)論文
- G. Tur and R. D. Mori, Eds., Spoken Language Understanding: Systems for Extracting Semantic Information from Speech. New York, NY: John Wiley and Sons, 2011.
- G.Mesnil,Y.Dauphin,K.Yao,Y.Bengio,L.Deng,D.Hakkani- Tur, X. He, L. Heck, G. Tur, D. Yu et al., “Using recurrent neu- ral networks for slot filling in spoken language understanding,” IEEE/ACM Transactions on Audio, Speech, and Language Pro- cessing, vol. 23, no. 3, pp. 530–539, 2015.
- P. J. Price, “Evaluation of spoken language systems: The ATIS domain,” in Proceedings of the DARPA Workshop on Speech and Natural Language, Hidden Valley, PA, June 1990.
- Y. Bengio, P. Simard, and P. Frasconi, “Learning long-term de- pendencies with gradient descent is difficult,” IEEE Transactions on Neural Networks, vol. 5, no. 2, pp. 157–166, 1994.
- R.Pascanu,T.Mikolov,andY.Bengio,“Onthedifficultyoftrain- ing recurrent neural networks,” arXiv preprint arXiv:1211.5063, 2012.
- A. Graves and J. Schmidhuber, “Framewise phoneme classifica- tion with bidirectional LSTM and other neural network architec- tures,” Neural Networks, vol. 18, no. 5, pp. 602–610, 2005.
- S. Ravuri and A. Stolcke, “Recurrent neural network and LSTM models for lexical utterance classification,” in Interspeech, 2015.
- I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” in Advances in Neural Infor- mation Processing Systems 27, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds., 2014, pp. 3104–3112.
- O. Vinyals and Q. V. Le, “A neural conversational model,” in ICML Deep Learning Workshop, 2015.
- Y.-N.Chen,D.Hakkani-Tu ?r,G.Tur,J.Gao,andD.Li,“End-to- end memory networks with knowledge carryover for multi-turn spoken language understanding,” in Proceedings of Interspeech, 2016.
7. 代碼編寫
# 后續(xù)追加代碼分析
參考文獻(xiàn)
- Hakkani-Tur, D., Tur, G., ?elikyilmaz, A., Chen, Y.-N., Gao, J., 0001, L. D., & Wang, Y.-Y. (2016). Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional RNN-LSTM. Interspeech.
