本文轉(zhuǎn)自中國中文信息學(xué)會(huì)青年工作委員會(huì)

作者： 李林琳，趙世奇

（注：本文的第一部分主要內(nèi)容基于“Review of spoken dialogue systems”（López-Cózar et al., 2015）腺阳；第二部分翻譯自英文原文“POMDP-based statistical spoken dialog systems: A review”（Yong et al., 2013））

摘要：本文第一部分對對話系統(tǒng)的領(lǐng)域研究現(xiàn)狀做一個(gè)領(lǐng)域綜述月幌，第二部分我們詳細(xì)介紹一下當(dāng)今對話領(lǐng)域的一個(gè)熱門課題：基于POMDP的統(tǒng)計(jì)對話管理系統(tǒng)芹壕。首先淆两，我們對對話系統(tǒng)涉及的五種主要技術(shù)做一個(gè)綜合介紹师崎；然后，我們簡要討論一下對話系統(tǒng)的發(fā)展歷史及其在健康等領(lǐng)域的應(yīng)用實(shí)例汇歹。由于對話系統(tǒng)的一個(gè)核心組成部分是用戶屁擅，我們還會(huì)簡單討論一下用戶建模及其類型；接下來我們討論一下對話系統(tǒng)的研究趨勢产弹，包括語音識別派歌、多模交互、以及對話管理系統(tǒng)的主流研發(fā)技術(shù)痰哨。在第二部分胶果，我們集中介紹基于統(tǒng)計(jì)的POMDP對話系統(tǒng)所涉及的思想及具體建模方法。

第一部分：對話系統(tǒng)概述

隨著人機(jī)交互技術(shù)的進(jìn)步斤斧，類似“環(huán)境智能（Ambient Intelligence）”這類課題更多的強(qiáng)調(diào)用戶友好性和智能交互性早抠。為了確保自然的智能交互，非常有必要研發(fā)安全可靠的交互技術(shù)以在人機(jī)之間建立溝通的橋梁撬讽。本著這個(gè)初衷蕊连，過去的幾十年有很多研究致力于模仿人-人交互的模式來構(gòu)建人機(jī)交互系統(tǒng)失暂，我們稱之為對話系統(tǒng)（Spoken Dialogue Systems, SDSs）（Lopez-Cozar & Araki, 2005; McTear, 2004; Pieraccini, 2012）斯嚎。

最早的對話系統(tǒng)僅僅處理簡單的交流任務(wù)卧蜓，比如提供飛行旅行信息（Hempel, 2008）橄唬。當(dāng)今的對話系統(tǒng)已經(jīng)越來越多的出現(xiàn)在更復(fù)雜的任務(wù)中索昂，比如盐杂，智能環(huán)境（Intelligent Environments, Heinroth & Minker, 2013）, 車載系統(tǒng)（Geutner et al., 2002）宾茂，個(gè)人助手（Janarthanam et al., 2013）豁遭， 智能家居（Krebber et al., 2004）廊佩，及人機(jī)交互（Foster et al., 2014）等昧捷。對話系統(tǒng)涉及的另外一個(gè)重要課題是用戶建模（Andrade et al., 2014）。

本文第一部分我們對對話系統(tǒng)的領(lǐng)域研究現(xiàn)狀做一個(gè)任務(wù)綜述罐寨，并指出該領(lǐng)域的研究趨勢靡挥，其中各小節(jié)內(nèi)容如下：1）對話系統(tǒng)涉及的五種關(guān)鍵技術(shù)；2）對話系統(tǒng)的演進(jìn)歷史以及相關(guān)的科研項(xiàng)目鸯绿；3）對話系統(tǒng)用戶建模跋破；4）對話系統(tǒng)課題的研究趨勢；更智能化瓶蝴、多樣化毒返，且具有可移植性以及多模功能。本文的第二部分將討論一種具體的數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)對話系統(tǒng)舷手。

對話系統(tǒng)通常涉及五個(gè)主要的模塊：

語音識別（ASR）

口語理解（SLU）

對話管理（DM）

自然語言生成（NLG）

文本生成語音（TTS）

由于ASR模塊和TTS模塊涉及聲音信號的處理拧簸，不是本文的重點(diǎn)，我們僅限于討論SLU, DM以及NLG三個(gè)模塊男窟。需要說明的是盆赤，對話系統(tǒng)還常常有一個(gè)單獨(dú)的模塊來存儲(chǔ)對話歷史贾富。

1.1.1 口語理解（SLU）

口語理解是語音識別模塊的下游模塊，其任務(wù)是獲取輸入語音信號的語義表示牺六，該語義通常以frame的形式表示（Allen, 1995）颤枪。而每一個(gè)frame通常又包含多個(gè)槽位，例如淑际，在飛機(jī)訂票系統(tǒng)中畏纲，一個(gè)SLU的frame通常包含如下槽位:

speechActType

departureCity

destinationCity

destinationCity

departureDate

arrivalDate

airline

一個(gè)示例SLU模塊的輸出如下：

speechActType：訂票

departureCity：北京

destinationCity：上海

……

SLU模塊的高精度實(shí)現(xiàn)是很困難的，因?yàn)檎Z言中常常帶有歧義春缕、人稱代詞盗胀、指示代詞、以及省略成分锄贼。該模塊的實(shí)現(xiàn)有兩種主流的方式票灰，要么借助于句法分析，要么利用統(tǒng)計(jì)機(jī)器學(xué)習(xí)咱娶，也可以是兩者結(jié)合（Griol et al., 2014）米间。SLU模塊也常常借助于對話歷史模塊的信息，其目的是搜索用戶最近的對話歷史找到當(dāng)前query中沒有顯式提到的信息以更好的理解對話膘侮。

同時(shí)屈糊，口語理解系統(tǒng)還應(yīng)該具有較好的魯棒性來處理語音識別的錯(cuò)誤和噪音。相關(guān)的技術(shù)有琼了，放寬語法檢查尺度逻锐，僅關(guān)注關(guān)鍵詞；或?qū)ψR別的句子進(jìn)行部分分析雕薪，提取關(guān)鍵成分昧诱。很多統(tǒng)計(jì)方法在這方面有所應(yīng)用，如（Lemon & Pietquin, 2012）等所袁。

1.1.2 對話管理（DM）

口語理解的下游模塊是對話管理器DM盏档。該模塊的任務(wù)是決定系統(tǒng)如何回復(fù)給定的用戶輸入（McTear, 2004）, 例如，向用戶提供信息燥爷，向用戶發(fā)出詢問以確認(rèn)系統(tǒng)理解蜈亩，或者請求用戶換一種句型表達(dá)需求。在上述飛機(jī)訂票的對話系統(tǒng)實(shí)例中前翎，DM可能會(huì)決定觸發(fā)一個(gè)詢問請求讓用戶來確認(rèn)“出發(fā)城市”這個(gè)槽位的值是不是“北京”稚配，其觸發(fā)原因可能是語音識別系統(tǒng)對“北京”這個(gè)詞的置信度值過低。

為了給用戶提供信息港华，對話管理器通常需要查詢數(shù)據(jù)庫或者互聯(lián)網(wǎng)道川，同時(shí)它還需要考慮對話歷史模塊提供的信息。例如，DM模塊可能根據(jù)對話歷史上下文發(fā)出詢問請求以補(bǔ)充缺失數(shù)據(jù)冒萄。對話管理模塊模式可以有多種：rule-based, plan-based和基于增強(qiáng)學(xué)習(xí)的（Frampton & Lemon, 2009）臊岸。本文的第二部分將詳細(xì)討論數(shù)據(jù)驅(qū)動(dòng)的對話系統(tǒng)POMDP。

1.1.3 自然語言生成（NLG）

對話管理器的決策會(huì)輸出給下游模塊進(jìn)行自然語言生成（NLG）宦言。由于對話管理器的輸出是抽象表達(dá)扇单，我們的目標(biāo)是將其轉(zhuǎn)換為句法和語義上合法的自然語言句子商模，同時(shí)考慮對話上下文的連貫性（Lemon, 2011）奠旺。 許多主流的自然語言生成系統(tǒng)是基于模板的，其根據(jù)句子的類型制定相應(yīng)的模板（Baptist & Seneff, 2000）施流。這些模版的某些成分是固定的响疚，而另一些成分需要根據(jù)對話管理器的輸出結(jié)果進(jìn)行填充。例如瞪醋，下述模板可以用來生成句子以表示兩個(gè)城市間的航班忿晕。

我查到了趟號到的航班。

在該模板中银受，尖括號部分需要根據(jù)對話管理器的輸出值進(jìn)行填充践盼，填充后該NLG模塊輸出為：我查到了30趟20號從北京到上海的航班。

考慮到對話系統(tǒng)的連貫性宾巍，NLG在生成語句的時(shí)候通常需要根據(jù)對話上下文綜合考慮咕幻。相關(guān)技術(shù)涉及如何省略表達(dá)，即顶霞，省略前文中已經(jīng)提到概念肄程，或者使用代詞指代前文已經(jīng)出現(xiàn)的名詞。該過程依賴對話歷史模塊的存儲(chǔ)信息选浑。NLG模塊還需要過濾冗余重復(fù)信息蓝厌，該過程又被稱為句子聚合（Dalianis，1999）古徒。除了基于模板的NLG技術(shù)以外拓提，最近也有一些基于統(tǒng)計(jì)的方式進(jìn)行自然語言生產(chǎn)，如（Dethlefs et al., 2013; Rieser et al., 2014）隧膘。由于篇幅限制代态，本文不對相關(guān)技術(shù)一一介紹。

1.2 對話系統(tǒng)的發(fā)展歷程

對話系統(tǒng)的歷史可以追溯到18舀寓、19世紀(jì)胆数，最早是利用機(jī)械方式制造機(jī)器人來模仿人類行為，該學(xué)科的發(fā)展具有較長的演進(jìn)史互墓。

1.2.1 早期系統(tǒng)以及科研項(xiàng)目

20世紀(jì)初必尼，Stewart（1922）發(fā)明了用電能產(chǎn)生聲音的機(jī)器。20世紀(jì)40年代出現(xiàn)了第一臺計(jì)算機(jī)，隨后圖靈提出了智能計(jì)算機(jī)的概念（Turing, 1950）判莉。60年代第一次出現(xiàn)了處理自然語言的計(jì)算機(jī)系統(tǒng)豆挽，例如，ELIZA（Weizenbaum券盅，1966）基于關(guān)鍵詞提取以及預(yù)定義模板將用戶輸入轉(zhuǎn)換為系統(tǒng)回答帮哈。而隨著語音識別、自然語言處理和語音合成等技術(shù)的發(fā)展锰镀，80年代第一次出現(xiàn)了對話系統(tǒng)娘侍，兩個(gè)代表性項(xiàng)目是：美國的DARPA口語系統(tǒng)和歐洲的Esprit SUNDIAL系統(tǒng)。在這兩個(gè)對話系統(tǒng)之后泳炉，MIT和CMU相繼進(jìn)行了一系列對話系統(tǒng)的研究憾筏。90年代，DARPA Communicator項(xiàng)目由美國政府資助進(jìn)行語音技術(shù)研發(fā)花鹅。到如今氧腰，SDSs的研發(fā)已涉及更廣的技術(shù)，包括智能推理刨肃、多模交互以及跨語種交互等等（Heinroth & Minker, 2013）古拴。

1.2.2 應(yīng)用實(shí)例

SDSs有著廣泛的應(yīng)用實(shí)例，包括自動(dòng)旅游旅行信息系統(tǒng)（Glass et al., 1995）真友，天氣預(yù)報(bào)系統(tǒng)（Zue et al., 2000）黄痪，銀行系統(tǒng)（Hardy et al., 2006; Melin et al., 2001）和會(huì)議協(xié)作系統(tǒng)（Andreani et al., 2006）等。我們僅就其在健康領(lǐng)域和embodied agent領(lǐng)域的應(yīng)用做一個(gè)簡要介紹锻狗。

健康領(lǐng)域：

SDSs在醫(yī)療應(yīng)用中能協(xié)助診療病人满力，例如，Bickmore & Giorgino (2006)研發(fā)了對話診斷系統(tǒng)轻纪，該系統(tǒng)用對話方式和病人交流油额，診斷疾病。該研究對于不方便現(xiàn)場就診的病人具有現(xiàn)實(shí)意義刻帚，同時(shí)有助于處理個(gè)人隱私和敏感信息問題潦嘶。一些病人無法很好的當(dāng)面與醫(yī)護(hù)工作者交流，第一崇众，因?yàn)樵\療時(shí)間非常有限掂僵；第二，病人有可能忌諱一些非常隱私的問題（比如酗酒顷歌、抑郁锰蓬、艾滋病等）。但是眯漩，智能對話系統(tǒng)就能有效的解決這些問題（Ahmad et al., 2009）芹扭。

過去的20年中麻顶，SDSs已廣泛的應(yīng)用在醫(yī)療領(lǐng)域，如醫(yī)療咨詢（Ghanem et al., 2005; Hubal & Day, 2006; Pfeifer & Bickmore, 2010）舱卡，慢性病監(jiān)測（Black et al., 2005）辅肾，輔助開藥(Bickmore et al., 2010), 飲食引導(dǎo)（Delichatsios et al., 2001），幫助戒煙（Ramelson et al., 1999）轮锥，及醫(yī)療診斷（Maglogiannis et al., 2009）矫钓。

Embodied Agent：

SDSs另一個(gè)常用場景是Embodied Agent. 該領(lǐng)域相關(guān)的系統(tǒng)原型有：COLLAGEN (Rich & Sidner, 1998), AVATALK (Hubal & Day, 2006) ，COMIC (Catizone et al., 2003)舍杜，以及智能對話系統(tǒng)NICE（Corradini et al., 2004）新娜。

1.3 用戶建模

用戶建模是SDSs的一個(gè)重要課題，其過程不僅僅局限于在對話系統(tǒng)設(shè)計(jì)階段建設(shè)靜態(tài)的profile蝴簇，也可以根據(jù)用戶狀態(tài)建立動(dòng)態(tài)profile杯活。SDSs可以根據(jù)用戶的語音信息匆帚，說話狀態(tài)及情景建立大量的用戶profile數(shù)據(jù)熬词，然后利用這些數(shù)據(jù)理解用戶對話，并預(yù)測用戶行為吸重。更具體來說互拾，用戶建模涉及情感建模（Balahur et al., 2014; Schuller & Batliner, 2013; Moors et al., 2013），人物性格建模（Nass & Yen, 2012）嚎幸，和上下文場景建模（Zhu & Sheng, 2011）等主要技術(shù)颜矿。

1.4 研究趨勢

語言是人類的特殊能力，SDSs是AI領(lǐng)域的一個(gè)高難度題目嫉晶，因?yàn)樗婕岸鄠€(gè)語言相關(guān)的子領(lǐng)域骑疆，如語音識別、語音合成替废、語言理解箍铭、語義表示、對話管理椎镣、語言生產(chǎn)诈火、情感建模、以及多模交互状答。Grand View Research公司做的一項(xiàng)研究調(diào)查報(bào)告顯示2012年對話系統(tǒng)的市場市值大約為3.5億美金冷守，該公司預(yù)測到2020年會(huì)增長31.7%。同時(shí)該項(xiàng)報(bào)告還指出惊科，考慮到市場以及經(jīng)濟(jì)效應(yīng)拍摇，人工客服領(lǐng)域?qū)⑹俏磥鞸DSs的一個(gè)大方向。下面我們討論一下SDSs主要研究方向馆截。

1.4.1 語音識別

對話系統(tǒng)一個(gè)重要的組件是語音識別充活，其輸出錯(cuò)誤是SDSs所面臨的第一個(gè)難題，未來如何降低語音識別噪音仍是一個(gè)大方向。其相關(guān)的技術(shù)有：降低背景噪音堪唐，預(yù)測用戶輸入巡语，以及ASR系統(tǒng)情感識別（Batliner et al., 2010）。不同于傳統(tǒng)的基于HMM的語音識別淮菠，新趨勢越來越多的依賴深度學(xué)習(xí)（Dahl et al., 2011）男公。考慮到語音識別錯(cuò)誤可能直接導(dǎo)致下游的對話管理器無法正確理解語義合陵，降低語音識別噪音任重道遠(yuǎn)枢赔。

1.4.2 多模交互

口語理解是SDSs另一個(gè)重要組成部分，其輸入不僅僅依賴于語音拥知，還依賴于用戶表情踏拜、動(dòng)作等多模信號（Bui, 2006; Lopez-Cozar, 2005）。該方面的研究很多低剔，如歐盟的Horizon 2020項(xiàng)目的一個(gè)子領(lǐng)域是語言技術(shù)(ICT-22-2014)速梗，其致力于多模計(jì)算機(jī)交互。SDSs多模技術(shù)還包括語義多模融合（Russ et al., 2005）襟齿，以及借助多模信號降低語音識別模塊噪音（Longe et al., 2012）姻锁。

1.4.3 ?對話管理

對話管理器是協(xié)調(diào)人機(jī)交互的中心模塊，它是一個(gè)相對成熟的研究課題猜欺，大致可分為如下四種類型 (Jurafsky & Martin, 2009)：

基于有限狀態(tài)和對話語法

基于Frame的系統(tǒng)

信息狀態(tài)更新（ISU）

馬爾可夫決策過程（MDPs）和部分可觀測的馬爾可夫過程（POMDPs）

有限狀態(tài)模型認(rèn)為對話是一個(gè)狀態(tài)轉(zhuǎn)移序列圖位隶，圖中每一個(gè)結(jié)點(diǎn)表示隱含的對話狀態(tài)，對應(yīng)于系統(tǒng)行為（如回答开皿、詢問涧黄、確認(rèn)、等等）赋荆，結(jié)點(diǎn)之間的狀態(tài)轉(zhuǎn)移控制對話流笋妥。Nuance的自動(dòng)銀行系統(tǒng)就是根據(jù)這種方法設(shè)計(jì)的（McTear, 2002）。 有限狀態(tài)模型常應(yīng)用于自助語音服務(wù)系統(tǒng)糠睡，其優(yōu)點(diǎn)是簡單易實(shí)現(xiàn)挽鞠，缺點(diǎn)是缺乏靈活性，難以處理復(fù)雜對話邏輯狈孔。

Frame-based系統(tǒng)在前面簡單介紹過信认，其基本思想是填槽位。該方法可以在當(dāng)前對話輪中填一個(gè)或者多個(gè)槽位均抽，也可以覆寫或修正前面對話輪的填充內(nèi)容嫁赏。基于Frame的對話管理系統(tǒng)還有一些衍生系統(tǒng)油挥，如agenda（Bohus & Rudnicky, 2003）潦蝇， task structure graphs款熬，和type hierarchies and blackboards (Rothkrantz et al., 2004)等。

ISU方式利用“信息狀態(tài)”將對話過程的所有可用信息進(jìn)行建模（Larsson & Traum, 2000）攘乒，即整合對話參與者的所有信息贤牛，而后建模對話行為。

以上三種對話管理模式都需要計(jì)算語言學(xué)專家設(shè)計(jì)并編寫對話方案则酝，該策略會(huì)增加對話系統(tǒng)的設(shè)計(jì)開發(fā)成本殉簸，同時(shí)也會(huì)降低系統(tǒng)的可維護(hù)性。為了克服這些局限性沽讹，近來出現(xiàn)了基于機(jī)器學(xué)習(xí)的對話管理系統(tǒng)般卑，典型的代表是MDP和POMDP。這些系統(tǒng)的基本思想是利用統(tǒng)計(jì)框架從大量的對話語料中自動(dòng)學(xué)習(xí)對話管理模型（Young et al., 2013）爽雄。這種方式有兩個(gè)主要的優(yōu)點(diǎn)：第一蝠检，可以將不確定性表示引入到模型中，相對基于規(guī)則的系統(tǒng)挚瘟，其對語音和語義理解的噪音有更好的魯棒性叹谁。第二，這種框架具有自動(dòng)學(xué)習(xí)功能刽沾，可以極大的降低人工開發(fā)成本本慕。當(dāng)然，這種方法也存在缺點(diǎn)侧漓，首先我們需要收集大量的對話數(shù)據(jù)，然后還需要對這些數(shù)據(jù)進(jìn)行標(biāo)注监氢。 在本文第二部分布蔗，我們集中討論基于POMDPs的統(tǒng)計(jì)對話管理系統(tǒng)。

第二部分：基于POMDP的統(tǒng)計(jì)對話管理系統(tǒng)

統(tǒng)計(jì)對話管理系統(tǒng)是一種數(shù)據(jù)驅(qū)動(dòng)的方法浪腐，無需人工構(gòu)建對話管理機(jī)制纵揍，具有較好的魯棒性。部分可觀察的馬爾可夫決策過程（POMDPs）具有良好的數(shù)據(jù)驅(qū)動(dòng)性议街，但問題是完整的建模和優(yōu)化計(jì)算代價(jià)巨大泽谨，甚至不可實(shí)現(xiàn)。在實(shí)際過程中特漩，需對POMDP-based的系統(tǒng)近似優(yōu)化求解吧雹，以下內(nèi)容將對POMDP-based的系統(tǒng)的領(lǐng)域現(xiàn)狀做一個(gè)綜合介紹。

2.1 概述

傳統(tǒng)的SDS的主要組成部分如下圖1所示涂身⌒劬恚口語理解模塊（SLU）將語言轉(zhuǎn)換成抽象語義表示，即用戶對話行為u.t 蛤售，而后系統(tǒng)更新其內(nèi)部狀態(tài)s.t 丁鹉，然后系統(tǒng)通過決策規(guī)則a.t = pi(s.t) 確定系統(tǒng)行為妒潭，最后語言生成模塊（NLG）將系統(tǒng)行為 a.t轉(zhuǎn)化為自然語言字符串。其中揣钦，狀態(tài)變量 s.t包含跟蹤對話過程的變量雳灾，以及表示用戶需求的屬性值（又稱為slots）。在傳統(tǒng)對話系統(tǒng)中冯凹，決策規(guī)則是通過流程圖的方式實(shí)現(xiàn)的佑女，圖中的結(jié)點(diǎn)表示狀態(tài)和行為，而邊則表示用戶輸入（Oshry et al., 2009; Paek & Pieraccini, 2008）谈竿。

圖 1. 對話系統(tǒng)的主要組成部分

盡管語音識別技術(shù)在過去的幾十年不斷進(jìn)步团驱，但是在噪音環(huán)境中（如公共場所或者汽車內(nèi)）的語音識別錯(cuò)誤率仍高達(dá)15%-30%（Lippmann, 1997; Black et al., 2011）。對話處理機(jī)制必須要處理噪音問題空凸，包括自動(dòng)檢錯(cuò)和恢復(fù)嚎花。正因?yàn)槿绱耍瑐鹘y(tǒng)的基于流程圖的對話管理系統(tǒng)非常難以制定和維護(hù)呀洲。

新型的對話管理系統(tǒng)基于部分可觀察的馬爾可夫決策過程（POMDPs） （Williams & Young, 2007）紊选，該方法假定對話過程是馬爾可夫決策過程，也就是說道逗，對話初始狀態(tài)是s.0 , 每一個(gè)后續(xù)狀態(tài)用轉(zhuǎn)移概率來表示：p(s.t | s.(t-1), a.(t-1)) 兵罢。 狀態(tài)變量s.t 是無法直接觀察到的，它代表了對用戶需求理解的不確定程度滓窍。系統(tǒng)把SLU的輸出看作是一個(gè)帶噪音的基于用戶輸入的觀察值卖词，這個(gè)觀察值的概率為p（o.t | s.t） ，這里的轉(zhuǎn)移概率和生成概率用恰當(dāng)?shù)碾S機(jī)統(tǒng)計(jì)模型表示吏夯，又稱為對話模型M此蜈，而每個(gè)步驟中采取哪個(gè)行動(dòng)則由另一個(gè)隨機(jī)模型控制，該模型稱之為對話策略P噪生。 在對話過程中裆赵，每一步還需要一個(gè)回報(bào)函數(shù)來體現(xiàn)理想中的對話系統(tǒng)特性。對話模型M和對話策略P的優(yōu)化是通過最大化回報(bào)函數(shù)的期望來實(shí)現(xiàn)的跺嗽，該過程可以通過直接用戶交互在線訓(xùn)練战授，也可以利用離線的語料庫訓(xùn)練。詳見下圖2.

圖 2. 基于POMDP的對話系統(tǒng)

基于POMDP的對話系統(tǒng)融合了兩個(gè)核心觀點(diǎn)：置信狀態(tài)跟蹤和增強(qiáng)學(xué)習(xí)桨嫁。這兩個(gè)方面可以放在同一個(gè)框架下學(xué)習(xí)植兰。與傳統(tǒng)方式相比，該方法具有如下優(yōu)點(diǎn)：

1）??????????? 置信狀態(tài)為語音識別噪聲提供了更好的魯棒性（Williams & Yong,

2007）瞧甩。置信狀態(tài)在用戶輸入后的后驗(yàn)概率可以借助于一種稱為“置信監(jiān)督（belief monitoring）”的貝葉斯推理過程更新钉跷。在設(shè)計(jì)置信狀態(tài)的過程中，可以借助模型先驗(yàn)概率去捕捉用戶行為肚逸，而借助推理過程去探索所有的識別假設(shè)空間爷辙，如模糊網(wǎng)絡(luò)和N-best lists彬坏。其特點(diǎn)是，融合多輪證據(jù)以降低單個(gè)錯(cuò)誤的影響膝晾。與傳統(tǒng)方法不同栓始，用戶的反復(fù)行為是得到激勵(lì)的，如果用戶足夠多次的重復(fù)一種表達(dá)血当，系統(tǒng)對他們所說的內(nèi)容的置信度也會(huì)隨之增加（前提是正確的假設(shè)候選出現(xiàn)在N-best lists中）幻赚。

2）??????????? 通過保存各個(gè)狀態(tài)的置信分布，系統(tǒng)可以并行的追蹤各種對話路徑臊旭，它不是貪婪的選擇當(dāng)前最優(yōu)解而是綜合考慮各種狀態(tài)的全局解落恼。當(dāng)用戶輸入一個(gè)負(fù)反饋信號時(shí)，當(dāng)前最可能解的概率被降低离熏，焦點(diǎn)會(huì)聚集到另外一個(gè)狀態(tài)佳谦。因此，不需要回溯或者修改對話機(jī)制滋戳。強(qiáng)大的對話策略可以簡單的嵌入置信狀態(tài)到對話行為的映射中钻蔑。

3）??????????? 顯式的表達(dá)狀態(tài)和行為能將回報(bào)函數(shù)和狀態(tài)行為對關(guān)聯(lián)起來。其回報(bào)綜合值組成了對話效果的客觀衡量標(biāo)準(zhǔn)奸鸯，因此可以用離線語料庫或者在線用戶互動(dòng)方式咪笑，借助增強(qiáng)學(xué)習(xí)提升效果。該方法具有最優(yōu)的決策策略娄涩，避免了人工調(diào)優(yōu)的勞動(dòng)窗怒，可以容納復(fù)雜的規(guī)劃機(jī)制。

然而在實(shí)踐中運(yùn)用POMDP并不容易钝满，有許多實(shí)際問題需要解決兜粘。SDS的狀態(tài)行為空間巨大，求解這個(gè)空間需要復(fù)雜的算法和軟件弯蚜。實(shí)時(shí)的貝葉斯推理也非常難，完整的POMDP的學(xué)習(xí)策略是不可實(shí)現(xiàn)的剃法，因此必須利用近似法求解碎捺。優(yōu)化基于POMDP的SDS的最直接方式是通過直接用戶對話。但是贷洲，通常難以找到足夠數(shù)量的用戶幫助訓(xùn)練系統(tǒng)收厨，所以實(shí)踐中常常通過用戶模仿器的方式來對參數(shù)模型進(jìn)行優(yōu)化。

2.2 部分可觀察的馬爾可夫決策過程

部分可觀察的馬爾可夫決策過程用一個(gè)多元組（S, A, T, R, O, Z, r, b.0）表示优构，其中S是狀態(tài)集诵叁；A是行為集合；T表示轉(zhuǎn)移概率 p(s.t | s.(t-1), a.(t-1)); R是回報(bào)的期望值钦椭；O是觀測值集合拧额；Z代表觀測概率p(o.t | s.t, a.(t-1)) 是幾何衰減系數(shù)碑诉，其值在0-1之間；b.0 是置信狀態(tài)的初始值侥锦。

POMDP的過程如下：在每一個(gè)過程中进栽，真實(shí)世界是一個(gè)無法觀察的狀態(tài)s.t 。因?yàn)?s.t是未知的恭垦，變量置信狀態(tài)b.t 表示所有可能狀態(tài)的分布快毛， b.t(s.t)表示處在某個(gè)特定狀態(tài) s.t的概率。系統(tǒng)基于 b.t選擇行為a.t 番挺，得到一個(gè)激勵(lì)值 r.t唠帝，然后轉(zhuǎn)化到狀態(tài)s.(t+1) ，這里 僅僅依賴于s.t?和 a.t玄柏。然后系統(tǒng)得到一個(gè)觀察值o.(t+1) 襟衰，該值依賴于 s.(t+1)和a.t 。這個(gè)過程如圖3所示：

圖 3. 用influence diagram表示POMDP禁荸；圓圈表示隱變量右蒲，帶陰影的圓圈表示觀測值，方塊表示系統(tǒng)行為赶熟，棱形表示回報(bào)值瑰妄，箭頭表示因果關(guān)系。

給定置信狀態(tài)b.t 映砖，最近一次的系統(tǒng)行為a.t 以及觀察值 o.(t+1)间坐，新的置信狀態(tài)b.(t+1) 的更新可以表示如下（Kaelbling et al., 1998）：

這里

是正規(guī)化常量， b.o是系統(tǒng)沒有任何行動(dòng)之前的初始置信狀態(tài)分布邑退。

系統(tǒng)行為由策略pi 控制竹宋。最通用的策略是直接將置信狀態(tài)和行為進(jìn)行直接映射pi(b)∈A ，或者通過一個(gè)概率函數(shù)進(jìn)行對應(yīng)pi(a,b)∈[0,1] 地技，這里 是在置信狀態(tài)b下采取行動(dòng)a的概率蜈七，其滿足

.

以置信狀態(tài) 為開始的策略 的綜合回報(bào)函數(shù)定義如下：

該公式對應(yīng)確定性策略（deterministic policy）；

該公式對應(yīng)隨機(jī)策略（stochastic policy）莫矗。

最佳對話策略 通過優(yōu)化回報(bào)函數(shù)得到：

該策略也稱為Bellman優(yōu)化公式（Bellman, 1957）飒硅。在POMDP參考文獻(xiàn)中，尋找最優(yōu)策略 的過程稱之為“求解”和“優(yōu)化”過程作谚。Kaelbling et al. （1998）應(yīng)用了精確求解方案三娩，（Pineau et al., 2003; Smith & Simmons, 2004）提出了近似求解方案。但問題是通用的POMDP方法復(fù)雜度高妹懒，難以大規(guī)模的應(yīng)用到實(shí)用對話系統(tǒng)雀监。即使中小型規(guī)模，其涉及的狀態(tài)眨唬、行為会前、和觀察值很容易達(dá)到10的10次方 量級好乐。窮舉p(s.(t+1)|s.t, a.t) 是不可實(shí)現(xiàn)的，因此回官，直接優(yōu)化更新置信狀態(tài)優(yōu)化回報(bào)函數(shù)并不可行曹宴。通常情況下，我們需要簡化模型近似求解歉提。接下來我們將詳細(xì)討論笛坦。

2.3 置信狀態(tài)表示和監(jiān)測

本小節(jié)集中討論圖2中對話系統(tǒng)模型M。實(shí)用SDS中苔巨，狀態(tài)必須包含三種不同類型的信息：用戶的目標(biāo)g.t , 用戶的真實(shí)意圖 u.t波势，以及對話歷史h.t （Williams & Young, 2007）魏割。用戶目標(biāo)包含需要完成任務(wù)所有信息呻袭，用戶真實(shí)意圖是指用戶實(shí)際想表達(dá)的意圖而非系統(tǒng)識別出的意圖正勒，對話歷史跟蹤之前的對話流。由此悼尾，對話中的一個(gè)狀態(tài)包含三個(gè)因子：

引入條件獨(dú)立性假設(shè)以后柿扣，該過程可以表示為圖4。將狀態(tài)分解成以上三個(gè)因子可以對狀態(tài)轉(zhuǎn)移矩陣進(jìn)行降維闺魏，同時(shí)也減少了系統(tǒng)的條件依賴性未状。

圖 4 表示SDS-POMDP各個(gè)狀態(tài)因子的influence diagram

結(jié)合置信更新和狀態(tài)因子兩公式，SDS的更新策略可以表示為：

以上公式包含了對話系統(tǒng)的四個(gè)要素：

(a)??? 觀察模型表示給定用戶真實(shí)表達(dá)u析桥，觀察值o的概率司草。它包含了語音識別系統(tǒng)的錯(cuò)誤率。

(b)??? 用戶模型表示在給定系統(tǒng)前一輪輸出和當(dāng)前系統(tǒng)狀態(tài)下泡仗，用戶真實(shí)表達(dá)u的概率埋虹。它建模了用戶行為。

(c)???? 目標(biāo)轉(zhuǎn)移模型表現(xiàn)了用戶目標(biāo)轉(zhuǎn)換的可能性娩怎。

(d)??? 歷史模型：系統(tǒng)記憶的對話歷史搔课。

雖然狀態(tài)因子模型極大的簡化了POMDP模型的復(fù)雜度，但是它仍舊復(fù)雜截亦，難以在實(shí)際的系統(tǒng)中應(yīng)用辣辫。因此還需要進(jìn)一步近似化處理，通常有兩種常用技術(shù)：

1)???? N-best方法魁巩，包括剪枝和重組（Gasic & Yong, 2011）

2)???? 貝葉斯網(wǎng)絡(luò)法（Thomson & Yong, 2010）

2.4 策略模型和增強(qiáng)學(xué)習(xí)

策略模型P提供了置信狀態(tài)b和系統(tǒng)行為a的映射。我們的目標(biāo)是尋找一個(gè)最優(yōu)的策略最大化對話回報(bào)函數(shù)的綜合期望姐浮。

POMDP的置信空間是一個(gè)高維空間谷遂。置信空間中臨近的點(diǎn)必須具有相同的行為值，因此卖鲤，有必要用一種策略將置信空間的點(diǎn)進(jìn)行區(qū)域劃分肾扰，確保同區(qū)域的點(diǎn)具有相同的行為值畴嘶。當(dāng)然，該行為映射必須保證讓每一個(gè)區(qū)域都有最佳的行為值集晚。POMDP系統(tǒng)的策略模型可以通過壓縮置信空間（Crook & Lemon窗悯， 2011）或者動(dòng)態(tài)狀態(tài)賦值（Doshi & Roy, 2008）實(shí)現(xiàn)。現(xiàn)實(shí)應(yīng)用中偷拔，我們通常需要對策略進(jìn)行簡化表示以降低推理復(fù)雜度蒋院。

我們可以根據(jù)實(shí)際應(yīng)用加一些限定條件。首先莲绰，通常的對話系統(tǒng)僅僅用到相對小的置信空間欺旧；第二，可行行為的范圍在給定的置信空間內(nèi)通常是限定的蛤签。由此辞友，這里有一個(gè)精簡的特征空間，我們稱之為summary space震肮。其中称龙，狀態(tài)和行為都被簡化以方便策略表示和優(yōu)化（Williams & Yong, 2005; Williams & Yong, 2007）。Summary space是全局問題空間的一個(gè)子空間戳晌，belief tracking在整個(gè)問題空間中求解鲫尊，而決策執(zhí)行和策略優(yōu)化僅在summary space中運(yùn)行。問題空間和summary space中的運(yùn)行方案如下：在置信更新后躬厌，問題空間中的置信狀態(tài)b被映射為一個(gè)特征向量 和候選行為集合{ }马昨。策略從一系列的候選行為集合中選取，然后將summary space中的 映射回原問題空間中一個(gè)完整的行為a扛施。

Summary space的轉(zhuǎn)換需要兩個(gè)組成部分：問題空間中選擇候選行為的機(jī)制鸿捧，以及從置信狀態(tài)和候選行為中抽取特征的函數(shù)。最簡單的選取候選行為的方法是將可以對應(yīng)到概念以及槽位（如：地點(diǎn)類型疙渣、食物類型匙奴、星級評價(jià)、等等）的對話行為（如：問候妄荔、問題泼菌、肯定、告知啦租、等等）都包括在內(nèi)哗伯，然后通過置信度對各個(gè)槽位賦值（Thomson & Young, 2010; Williams & Young, 2005）。該方法是全自動(dòng)的篷角，但它可能會(huì)包含一些錯(cuò)誤的候選行為焊刹，如在對話的正中間進(jìn)行問候，或者在沒有被問到某個(gè)值的時(shí)候，對該值進(jìn)行確認(rèn)虐块。另外一類選擇候選行為的方法是partial program（Andre & Russell, 2002; Williams, 2008）俩滥，或者馬爾可夫邏輯網(wǎng)絡(luò)（Lison, 2010）。這類方法可以在對話流中任意容納人工知識贺奠，同時(shí)顯式設(shè)定業(yè)務(wù)邏輯霜旧，比如，在進(jìn)行資金轉(zhuǎn)賬之前要求輸入用戶密碼儡率。同時(shí)挂据，限定候選行為空間能更快的收斂到最優(yōu)策略，因?yàn)樗呀?jīng)將很多的錯(cuò)誤候選排除在外（Williams, 2008）喉悴。但是棱貌，這些規(guī)則需要人工制定，而人工規(guī)則可能錯(cuò)誤的將最優(yōu)候選行為排除在外箕肃。作為一種折衷方案婚脱，有些系統(tǒng)允許每一個(gè)對話行為作為候選，但通過人工規(guī)則限定對話行為槽位（Yong et al., 2010）勺像。

Summary space轉(zhuǎn)換的第二個(gè)重要組成部分是從置信狀態(tài)以及候選行為中抽取特征的函數(shù)障贸。我們通常為每一個(gè)對話行為構(gòu)建一個(gè)二進(jìn)制特征，也可以針對每一個(gè)有效的行動(dòng)／槽位對吟宦，例如confirm(food). 這種方式通常會(huì)產(chǎn)生20-30維的行為特征篮洁，其每一維表示一個(gè)唯一行為。狀態(tài)特征通常是異構(gòu)的殃姓，包含實(shí)數(shù)值袁波，二進(jìn)制值，和枚舉類值蜗侈。典型的狀態(tài)特征包括：最重要的N個(gè)用戶目標(biāo)的置信度篷牌；各個(gè)槽位的marginal belief；最重要的用戶目標(biāo)屬性（如踏幻，匹配到的數(shù)據(jù)庫實(shí)體的數(shù)量）枷颊；表示哪些系統(tǒng)行為可行的隱變量；對話歷史屬性值（如该面，是否已確認(rèn)最重要的用戶目標(biāo)）夭苗；歷史用戶行為；或者上述特征的組合（Thomson & Yong, 2010; Williams & Yong, 2005; Williams, 2008; Yong et al., 2010）隔缀。通常系統(tǒng)具有5到25個(gè)特征题造，這些特征一般是手工選取的，也有些研究探索自動(dòng)特征選然场（Williams & Balakrishnan, 2009）晌梨。狀態(tài)特征不僅僅局限于置信狀態(tài)信息桥嗤，也可以在置信狀態(tài)以外尋找特征，如數(shù)據(jù)庫中的信息仔蝌，過去的對話歷史，或者上下文信息荒吏。

給定一個(gè)特定的summary space敛惊，策略可以用表示為一個(gè)顯示的映射pi(b)->a ，或者表示為一個(gè)概率分布pi(a,b) = p(a|b) 绰更，后者行為的選取是通過對概率分布的抽樣實(shí)現(xiàn)的瞧挤。策略是summary belief state（狀態(tài)）及action（行為）的函數(shù)，而不是原始問題空間的置信狀態(tài)和行為儡湾√靥瘢可以認(rèn)為新函數(shù)是對原問題空間的近似，也可以認(rèn)為是另一個(gè)馬爾可夫過程徐钠，在這個(gè)過程中狀態(tài)和行為是summary state和summary action癌刽。

在顯式的映射策略中，最常用的方法是尋找一個(gè)行為a以最大化Q函數(shù)（回報(bào)函數(shù)的數(shù)學(xué)期望）尝丐，即：

這里的Q函數(shù)可以是帶參數(shù)的显拜，也可以是無參的。如果不帶參數(shù)爹袁，置信狀態(tài)會(huì)在一個(gè)離散的編碼集{b.l }中, 對任意一個(gè)狀態(tài)b.l 都可以計(jì)算出其Q值远荠。

有五種常用的方法來優(yōu)化策略：1）planning under uncertainty；2）value iteration失息；3）Monte-Carlo優(yōu)化譬淳；4）最小平方策略迭代（LSPI）；5）natural actor-critic （NAC）. 這五種方式常常應(yīng)用在end-to-end的對話系統(tǒng)中盹兢。除此之外邻梆，還有Q-learning（Scheffler & Young, 2002）和SARSA（Henderson et al., 2008）等方法。由于篇幅限制蛤迎，我們不對這些策略做一一介紹确虱，感興趣的讀者可以閱讀相關(guān)參考文獻(xiàn)。

總的來說替裆，planning under uncertainty策略將置信狀態(tài)作為概率分布校辩，而value iteration和Monte-Carlo優(yōu)化需要首先將置信空間量化，LSPI和NAC基于置信狀態(tài)特征的線性模型進(jìn)行函數(shù)近似辆童。

2.5 用戶模擬器

直接從語料庫中學(xué)習(xí)對話策略存在很多問題宜咒，比如收集數(shù)據(jù)中的狀態(tài)空間可能與策略優(yōu)化數(shù)據(jù)不同。另外把鉴，這種方式無法在線互動(dòng)學(xué)習(xí)故黑。因此我們可以構(gòu)建一個(gè)用戶模擬器儿咱，讓這個(gè)模擬器與對話系統(tǒng)直接進(jìn)行互動(dòng)。用戶模擬器不僅僅可以用來學(xué)習(xí)對話系統(tǒng)场晶，也可以用它來評估對話系統(tǒng)（Schatzmann et al., 2006）混埠。用戶模擬器通常運(yùn)行在抽象對話行為層。給定一系列的用戶行為和系統(tǒng)回復(fù)诗轻，其目標(biāo)是對用戶回復(fù)的概率分布進(jìn)行有效的建模：

正如前文提到的钳宪，在實(shí)際系統(tǒng)中對話管理系統(tǒng)的觀測值被噪音變量影響，因此用戶回復(fù)同時(shí)被用戶模型和噪音模型控制扳炬。模型p(u.t|….) 匹配在語料中的用戶回復(fù)吏颖，另外需要error model建模語音識別及理解錯(cuò)誤（Hastie, 2012; Pietquin & Hastie, 2012; Schatzmann et al., 2005; Williams, 2008）。

2.6 系統(tǒng)和應(yīng)用

前面的幾個(gè)小節(jié)講述了統(tǒng)計(jì)對話系統(tǒng)的幾個(gè)主要模塊恨樟，其相關(guān)的技術(shù)在隨著時(shí)間進(jìn)步完善半醉。盡管在商業(yè)上推廣這些技術(shù)有一定的難度，但是在具體的場景中已有一定范圍應(yīng)用劝术。這里我們簡單的提幾個(gè)基于POMDP框架的對話系統(tǒng)缩多。

這些系統(tǒng)大多都是非正式的inquiry系統(tǒng)，包括語音呼叫（Janarthanam et al., 2011）夯尽，旅游信息（Thomson & Yong, 2010）瞧壮，日程安排（Kim & Lee, 2007）和汽車導(dǎo)航（Kim et al., 2008）等。POMDP也可應(yīng)用于基于命令控制的系統(tǒng)匙握，如通過多模接口控制家電（Williams, 2007）咆槽。

POMDP曾在CMU舉辦的“Let’s Go”競賽任務(wù)中被應(yīng)用，其為Pittsburgh區(qū)域的居民播報(bào)非忙時(shí)段的公交車信息（Thomson et al., 2010）圈纺。在該應(yīng)用中秦忿，用戶可能從多種不同的手機(jī)裝置來電，且通話環(huán)境通常有噪音蛾娶，結(jié)果顯示灯谣，基于POMDP的系統(tǒng)明顯優(yōu)于傳統(tǒng)系統(tǒng)（Black et al., 2011）。

2.7 小結(jié)

統(tǒng)計(jì)對話系統(tǒng)提出數(shù)據(jù)驅(qū)動(dòng)的框架蛔琅，該方式可以有效的降低人工編寫復(fù)雜對話管理規(guī)則的開銷胎许，同時(shí)對在噪音環(huán)境中的語音識別錯(cuò)誤具有良好的魯棒性。通過一個(gè)顯式的對不確定性建模的貝葉斯模型和一種回報(bào)驅(qū)動(dòng)的策略優(yōu)化機(jī)制罗售，POMDP建立了一個(gè)良好的對話系統(tǒng)框架辜窑。

但是，基于POMDP的對話系統(tǒng)非常復(fù)雜寨躁，通常需近似求解穆碎。這里有許多實(shí)際的研究問題，例如职恳，如何在保持模型的復(fù)雜度的同時(shí)所禀，讓置信狀態(tài)序列可解方面？如何減少策略學(xué)習(xí)的迭代次數(shù)，從而能在真實(shí)用戶上訓(xùn)練模型而不是借助用戶模擬器色徘？同時(shí)恭金，還需要將對話系統(tǒng)打包以及平臺化以使得非專家也能使用這些技術(shù)。

除此之外贺氓，POMDP框架嚴(yán)重依賴回報(bào)函數(shù)蔚叨。原則上來說，這是對話系統(tǒng)的優(yōu)點(diǎn)辙培，因?yàn)樗梢蕴峁┮粋€(gè)客觀的目標(biāo)機(jī)制定義對話系統(tǒng)的設(shè)計(jì)標(biāo)準(zhǔn)。但是邢锯，實(shí)際應(yīng)用中扬蕊，我們很難直接從用戶那里獲得可信的回報(bào)信號，即使是最簡單的成功／失敗也很難獲得丹擎，比如尾抑，在被問到“系統(tǒng)是否回答了你所問的問題？”時(shí)蒂培，許多用戶出于禮貌會(huì)直接說“是”再愈，或者由于對系統(tǒng)不切實(shí)際的過高期望而直接回答“否”』ご粒回報(bào)函數(shù)可以基于用戶滿意度來獲取翎冲，而該滿意度值可以通過客觀的可以衡量的特征進(jìn)行回歸計(jì)算獲取，該方法在PARADISE系統(tǒng)（Levin et al., 1997）上有所應(yīng)用媳荒，也有其他的研究（Singh et al., 1999）在這個(gè)思路框架下進(jìn)行抗悍。盡管如此，很多經(jīng)驗(yàn)告訴我們钳枕，根據(jù)真實(shí)用戶反饋的在線學(xué)習(xí)策略必須要結(jié)合成熟的生物識別技術(shù)缴渊，用客觀標(biāo)準(zhǔn)測量用戶情感滿意度。

總結(jié)

本文對對話系統(tǒng)的領(lǐng)域研究現(xiàn)狀做了一個(gè)整體介紹鱼炒。對話系統(tǒng)的核心問題是處理多輪交互衔沼，讓人機(jī)之間的互動(dòng)高效、自然昔瞧、智能指蚁。在本文中我們涉及了對話系統(tǒng)的主要任務(wù)模塊，并做了簡單的概述硬爆，同時(shí)指出了對話系統(tǒng)所面臨的問題和挑戰(zhàn)欣舵。我們還介紹了對話系統(tǒng)的演進(jìn)歷史及其應(yīng)用實(shí)例，并從口語交流缀磕、多模交互和對話管理方面介紹了該領(lǐng)域的研究趨勢缘圈。接下來劣光，本文詳細(xì)介紹了POMDP統(tǒng)計(jì)對話管理器的相關(guān)技術(shù)及領(lǐng)域現(xiàn)狀，同時(shí)也指出了其中的問題及面臨的挑戰(zhàn)糟把。

參考文獻(xiàn)

López-Cózar, & R., Araki, M. (2005). Spoken, multilingual and multimodal dialogue systems: Development and assessment. John Wiley

López-Cózar, R., Callejas, Z., Griol, D., & Quesada, J. F. (2015). Review of spoken dialogue systems. Loquens, 1(2), e012.

McTear, M. F. (2002). Spoken dialogue technology: Enabling the conversational user interface. ACM Computing Surveys, 34(1), 90–169.http://dx.doi.org/10.1145/505282.505285

McTear, M. F. (2004). Spoken dialogue technology. Toward the conversational user interface. Springer. http://dx.doi.org/10.1007/978-0-85729-414-2

Pieraccini, R. (2012). The voice in the machine: Building computers that understand speech. Cambridge, MA: MIT Press.

Hempel, T. (2008). Usability of speech dialogue systems: Listening to the target audience. Springer.

Heinroth, T., & Minker, W. (2013). Introducing spoken dialogue systems into Intelligent Environments. New York: Springer.http://dx.doi.org/10.1007/978-1-4614-5383-3

Geutner, P., Steffens, F., & Manstetten, D. (2002). Design of the VICO spoken dialogue system: Evaluation of user expectations by Wizard-of-Oz experiments. Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC ‘02),Canary Islands.

Janarthanam, S., Lemon, O., Liu, X., Bartie, P., Mackaness, W., & Dalmas, T. (2013). A multithreaded conversational interface for pedestrian navigation and question answering. Proceedings of the 14th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), 151–153.

Krebber, J. M?ller, S., Pegam, R., Jekosch, U., Melichar, M., & Rajman, M. (2004). Wizard-of-Oz tests for a dialog system in smart homes. Paper presented at the Joint Congress CFA/DAGA ’04, Strasbourg.

Foster, M. E., Giuliani, M., & Isard, A. (2014). Task-based evaluation of context-sensitive referring expressions in human-robot dialogue.Language, Cognition and Neuroscience, 29(8), 1018–1034. http://dx.doi.org/10.1080/01690965.2013.855802

Andrade, A. O., Pereira, A. A., Walter, S., Almeida, R., Loureiro, R., Compagna, D., & Kyberd, P. J. (2014). Bridging the gap between robotic technology and health care. Biomedical Signal Processing and Control, 10, 65–78.http://dx.doi.org/10.1016/j.bspc.2013.12.009

Allen, J. (1995).Natural language understanding. Redwood City, CA: The Benjamin Cummings.

Callejas, Z., Griol, D., Engelbrecht, K.-P., & López-Cózar, R. (2014). A clustering approach to assess real user profiles in spoken dialogue systems. In J. Mariani, S. Rosset, M. Garnier-Rizet & L. Devillers (Eds.), Natural interaction with robots, knowbots and smartphones (pp. 327–334). New York: Springer.http://dx.doi.org/10.1007/978-1-4614-8280-2_29

Griol, D., Callejas, Z., López-Cózar, R., & Riccardi, G. (2014). A domain-independent statistical methodology for dialog management in spoken dialog systems. Computer Speech and Language, 28(3), 743–768. http://dx.doi.org/10.1016/j.csl.2013.09.002

Lemon, O. (2011). Learning what to say and how to say it: Joint optimisation of spoken dialogue management and natural language generation. Computer Speech and Language, 25(2), 210–221. http://dx.doi.org/10.1016/j.csl.2010.04.005

Lemon, O., & Pietquin, O. (Eds.) (2012). Data-driven methods for adaptive spoken dialogue systems: Computational learning for conversational interfaces. Springer. http://dx.doi.org/10.1007/978-1-4614-4803-7

Frampton, M., & Lemon, O. (2009). Recent research advances in reinforcement learning in spoken dialogue systems. Knowledge Engineering Review, 24(4), 375–408. http://dx.doi.org/10.1017/S0269888909990166

Baptist, L., & Seneff, S. (2000). GENESIS-II: A versatile system for language generation in conversational system applications.Proceedings of the 6th International Conference on Spoken Language Processing (ICSLP ’00), 3, 271–274.

Dalianis, H. (1999). Aggregation in natural language generation. Computational Intelligence, 15(4), 384–414.http://dx.doi.org/10.1111/0824-7935.00099

Dethlefs, N., Hastie, H., Cuayáhuitl, H., & Lemon, O. (2013). Conditional random fields for responsive surface realisation using global features. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), 1254–1263.

Rieser, V., Lemon, O., & Keizer, S. (2014). Natural language generation as incremental planning under uncertainty: Adaptive information presentation for statistical dialogue systems. IEEE/ACM Transactions on Audio, Speech and Language Processing, 22(5), 979–994. http://dx.doi.org/10.1109/TASL.2014.2315271

Stewart, J. Q. (1922). An electrical analogue of the vocal organs. Nature, 110, 311–312. http://dx.doi.org/10.1038/110311a0

Turing, A. (1950). Computing machinery and intelligence. Mind, 236, 433–460. http://dx.doi.org/10.1093/mind/LIX.236.433

Weizenbaum, J. (1966). ELIZA–A computer program for the study of natural language communication between man and machine.Communications of the ACM, 9(1), 36–45. http://dx.doi.org/10.1145/365153.365168

Glass, J., Flammia, G., Goodine, D., Phillips, M., Polifroni, J., Sakai, S., … & Zue, V. (1995). Multilingual spoken-language understanding in the MIT Voyager system. Speech Communication, 17(1–2), 1–18. http://dx.doi.org/10.1016/0167-6393(95)00008-C

Zue, V., Seneff, S., Glass, J. R., Polifroni, J., Pao, C., Hazen, T. J., & Hetherington, L. (2000). JUPITER: A telephone-based conversational interface for weather information. IEEE Transactions on Speech and Audio Processing, 8, 85–96.http://dx.doi.org/10.1109/89.817460

Hardy, H., Biermann, A., Bryce Inouye, R., McKenzie, A., Strzalkowski, T., Ursu, C., … & Wu, M. (2006). The AMITIéS system: Data-driven techniques for automated dialogue. Speech Communication, 48(3–4), 354–373.http://dx.doi.org/10.1016/j.specom.2005.07.006

Melin, H., Sandell, A., & Ihse, M. (2001). CTT-bank: A speech controlled telephone banking system–An initial evaluation. TMH-QPSR 42(1), 1–27.

Andreani, G., Di Fabbrizio, D., Gilbert, M., Gillick, D., Hakkani-Tur, D., & Lemon, O. (2006). Let’s DISCOH: Collecting an annotated open corpus with dialogue acts and reward signals for natural language helpdesks. IEEE 2006 Workshop on Spoken Language Technology, 218–221. http://dx.doi.org/10.1109/SLT.2006.326794

Bickmore, T., & Giorgino, T. (2006). Health dialog systems for patients and consumers. Journal of Biomedical Informatics, 39(5), 556–571. http://dx.doi.org/10.1016/j.jbi.2005.12.004

Ahmad, F., Hogg-Johnson, S., Stewart, D. E., Skinner, H. A., Glazier, R. H., & Levinson, W. (2009). Computer-assisted screening for intimate partner violence and control: A randomized trial. Annals of Internal Medicine, 151(2), 93–102.http://dx.doi.org/10.7326/0003-4819-151-2-200907210-00124

Ghanem, K. G., Hutton, H. E., Zenilman, J. M., Zimba, R., & Erbelding, E. J. (2005). Audio computer assisted self interview and face to face interview modes in assessing response bias among STD clinic patients. Sexually Transmitted Infections, 81(5), 421–425.http://dx.doi.org/10.1136/sti.2004.013193

Hubal, R., & Day, R. S. (2006). Informed consent procedures: An experimental test using a virtual character in a dialog systems training application. Journal of Biomedical Informatics, 39(5), 532–540. http://dx.doi.org/10.1016/j.jbi.2005.12.006

Pfeifer, L. M., & Bickmore, T. (2010). Designing embodied conversational agents to conduct longitudinal health interviews. Proceedings of Intelligent Virtual Agents, 4698–4703.

Black, L. A., McTear, M. F., Black, N. D., Harper, R., & Lemon, M. (2005). Appraisal of a conversational artefact and its utility in remote patient monitoring. Proceedings of the 18th IEEE Symposium on Computer-Based Medical Systems, 506–508.http://dx.doi.org/10.1109/CBMS.2005.33

Bickmore, T. W., Puskar, K., Schlenk, E. A., Pfeifer, L. M., & Sereika, S. M. (2010). Maintaining reality: Relational agents for antipsychotic medication adherence. Interacting with Computers, 22(4), 276–288. http://dx.doi.org/10.1016/j.intcom.2010.02.001

Delichatsios, H., Friedman, R. H., Glanz, K., Tennstedt, S., Smigelski, C., Pinto, B., … & Gillman, M. W. (2001). Randomized trial of a “talking computer” to improve adults’ eating habits. American Journal of Health Promotion, 15(4), 215–224.http://dx.doi.org/10.4278/0890-1171-15.4.215

Ramelson, H. Z., Friedman, R. H., & Ockene, J. K. (1999). An automated telephone-based smoking cessation education and counseling system. Patient Education and Counseling, 36(2), 131–144. http://dx.doi.org/10.1016/S0738-3991(98)00130-X

Maglogiannis, I., Zafiropoulos, E., & Anagnostopoulos, I. (2009). An intelligent system for automated breast cancer diagnosis and prognosis using SVM based classifiers. Applied Intelligence, 30(1), 24–36. http://dx.doi.org/10.1007/s10489-007-0073-z

Rich, C., & Sidner, C. L. (1998). COLLAGEN: A collaboration manager for software interface agents. User Modeling and User-Adapted Interaction, 8(3–4), 315–350. http://dx.doi.org/10.1023/A:1008204020038

Catizone, R., Setzer, A., & Wilks, Y. (2003). Multimodal dialogue management in the COMIC project. Proceedings of the EACL-03 Workshop on ’Dialogue Systems: Interaction, Adaptation and Styles of Management’. European Chapter of the Association for Computational Linguistics, 25–34.

Corradini, A., Fredriksson, M., Mehta, M., K?nigsmann, J., Bernsen, N. O., & Johanneson, L. (2004). Towards believable behavior generation for embodied conversational agents. Proceedings of the Workshop on Interactive Visualisation and Interaction Technologies (IV&IT), 946–953.

Balahur, A., Mihalcea, R., & Montoyo, A. (2014). Computational approaches to subjectivity and sentiment analysis: Present and envisaged methods and applications. Computer Speech and Language, 28(1), 1–6. http://dx.doi.org/10.1016/j.csl.2013.09.003

Schuller, B. W., & Batliner, A. (2013). Computational paralinguistics: Emotion, affect and personality in speech and language processing. John Wiley & Sons. http://dx.doi.org/10.1002/9781118706664

Moors, A., Ellsworth, P. C., Scherer, K. R., & Frijda, N. H. (2013). Appraisal theories of emotion: State of the art and future development. Emotion Review, 5(2), 119–124. http://dx.doi.org/10.1177/1754073912468165

Nass, C., & Yen, C. (2012). The man who lied to his laptop: What we can learn about ourselves from our machines. Current Trade.

Zhu, C., Sheng, W. (2011). Motion- and location-based online human daily activity recognition. Pervasive and Mobile Computing, 7(2), 256–269. http://dx.doi.org/10.1016/j.pmcj.2010.11.004

Batliner, A., Seppi, D. Steidl, S., & Schuller, B. (2010). Segmenting into adequate units for automatic recognition of emotion-related episodes: A speech-based approach. Advances in Human Computer Interaction, 2010. http://dx.doi.org/10.1155/2010/782802

Dahl, G. E., Yu, D., Deng, L., & Acero, A. (2012). Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition. IEEE Transactions on Audio, Speech and Language Processing, 20(1), 30–42.http://dx.doi.org/10.1109/TASL.2011.2134090

Bui, T. H. (2006). Multimodal dialogue management- State of the art. Human Media Interaction Department, University of Twente (Vol. 2).

Russ, G., Sallans, B., & Hareter, H. (2005). Semantic based information fusion in a multimodal interface. Proceedings of the International Conference on Human–Computer Interaction, HCI ’05, Las Vegas. Lawrence Erlbaum.

Longé, M., Eyraud, R., & Hullfish, K.C. (2012). Multimodal disambiguation of speech recognition. U.S. Patent No. 8095364 B2. Retrieved from http://www.google.com/patents/US8095364

Jurafsky, D., & Martin, J. H. (2009). Speech and language processing: An introduction to natural language processing, speech recognition, and computational linguistics (2nd ed.). Prentice Hall.

Bohus, D., & Rudnicky, A. I. (2003). RavenClaw: Dialog management using hierarchical task decomposition and an expectation agenda.Proceedings of the 8th European Conference on Speech Communication and Technology. EUROSPEECH 2003–INTERSPEECH 2003, 597–600.

Rothkrantz, L. J. M., Wiggers, P., Flippo, F., Woei-A-Jin, D., & van Vark, R. J. (2004). Multimodal dialogue management. Lecture Notes in Computer Science, 3206, 621–628. http://dx.doi.org/10.1007/978-3-540-30120-2_78

Larsson, S. & Traum, D. R. (2000). Information state and dialogue management in the TRINDI dialogue move engine toolkit. Natural Language Engineering, 6(4), 323–340. http://dx.doi.org/10.1017/S1351324900002539

Young, S., Gasic, M., Thomson, B., & Williams, J. D. (2013). POMDP-based statistical spoken dialog systems: A review. Proceedings of the IEEE, 101(5), 1160–1179. http://dx.doi.org/10.1109/JPROC.2012.2225812

M. Oshry, P. Baggia, K. Rehor, M. Young, R. Akolkar, X. Yang, J. Barnett, R. Hosn, R. Auburn, J. Carter, S. McGlashan, M. Bodell, and D. C. Burnett, Voice extensible markup language (VoiceXML) 3.0, W3C, W3C Working Draft, Dec. 2009. [Online]. Available: http://www.w3.org/TR/2009/ WD-voicexml30-20091203/.

T. Paek and R. Pieraccini, ‘‘Automating spoken dialogue management design using machine learning: An industry perspective,’’ Speech Commun., vol. 50, no. 8–9, pp. 716–729, 2008.

R. P. Lippmann, ‘‘Speech recognition by machines and humans,’’ Speech Commun., vol. 22, no. 1, pp. 1–15, 1997.

A. Black, S. Burger, A. Conkie, H. Hastie, S. Keizer, O. Lemon, N. Merigaud, G. Parent, G. Schubiner, B. Thomson, J. Williams, K. Yu, S. Young, and M. Eskenazi, ‘‘Spoken dialog challenge 2010: Comparison of live and control test results,’’ in Proc. Annu. Meeting Special Interest Group Discourse Dialogue, Portland, OR, 2011, pp. 2–7.

J. Williams and S. Young, ‘‘Partially observable Markov decision processes for spoken dialog systems,’’ Comput. Speech Lang., vol. 21, no. 2, pp. 393–422, 2007.

L. Kaelbling, M. Littman, and A. Cassandra, ‘‘Planning and acting in partially observable stochastic domains,’’ Artif. Intell., vol. 101, pp. 99–134, 1998.

R. E. Bellman, Dynamic Programming. Princeton, NJ: Princeton Univ. Press, 1957.

J. Pineau, G. Gordon, and S. Thrun, ‘‘Point-based value iteration: An anytime algorithm for POMDPs,’’ in Proc. Int. Joint Conf. Artif. Intell., Acapulco, Mexico, 2003, pp. 1025–1032.

T. Smith and R. G. Simmons, ‘‘Heuristic search value iteration for POMDPs,’’ in Proc. Conf. Uncertainty Artif. Intell., Banff, AB, Canada, 2004, pp. 520–527.

M. Gasic and S. Young, ‘‘Effective handling of dialogue state in the hidden information state POMDP dialogue manager,’’ ACM Trans. Speech Lang. Process., vol. 7, no. 3, 2011, Article 4.

B. Thomson and S. Young, ‘‘Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems,’’ Comput. Speech Lang., vol. 24, no. 4, pp. 562–588, 2010.

P. A. Crook and O. Lemon, ‘‘Lossless value directed compression of complex user goal states for statistical spoken dialogue systems,’’ in Proc. Annu. Conf. Int. Speech Commun. Assoc., Florence, Italy, 2011, pp. 1029–1032.

F. Doshi and N. Roy, ‘‘The permutable POMDP: Fast solutions to POMDPs for preference elicitation,’’ in Proc. Int. Joint Conf. Autonom. Agents Multiagent Syst., 2008, pp. 493–500.

J. Williams and S. Young, ‘‘Scaling up POMDPs for dialog management: The ‘summary POMDP’ method,’’ in Proc. IEEE Workshop Autom. Speech Recognit. Understand., Cancun, Mexico, 2005, pp. 177–182.

J. Williams and S. Young, ‘‘Scaling POMDPs for spoken dialog management,’’ IEEE Trans. Audio Speech Lang. Process., vol. 15, no. 7, pp. 2116–2129, Jul. 2007.

D. Andre and S. Russell, ‘‘State abstraction for programmable reinforcement learning agents,’’ in Proc. 18th Nat. Conf. Artif. Intell., Edmonton, AB, Canada, 2002, pp. 119–125.

J. D. Williams, ‘‘The best of both worlds: Unifying conventional dialog systems and POMDPs,’’ in Proc. Annu. Conf. Int. Speech Commun. Assoc., Brisbane, Australia, 2008, pp. 1173–1176.

P. Lison, ‘‘Towards relational POMDPs for adaptive dialogue management,’’ in Proc. Annu. Meeting Assoc. Comput. Linguist., Uppsala, Sweden, 2010, pp. 7–12.

S. Young, M. Gasˇic′, S. Keizer, F. Mairesse, J. Schatzmann, B. Thomson, and K. Yu, ‘‘The hidden information state model: A practical framework for POMDP-based spoken dialogue management,’’ Comput. Speech Lang., vol. 24, no. 2, pp. 150–174, 2010.

L. Li, J. D. Williams, and S. Balakrishnan, ‘‘Reinforcement learning for dialog management using least-squares policy iteration and fast feature selection,’’ in Proc. Annu. Conf. Int. Speech Commun. Assoc., Brighton, U.K., 2009, pp. 2475–2478.

O. Pietquin, M. Geist, S. Chandramohan, and H. Frezza-Buet, ‘‘Sample-efficient batch reinforcement learning for dialogue management optimization,’’ ACM Trans. Speech Lang. Process., vol. 7, no. 3, pp. 1–21, 2011.

K. Scheffler and S. Young, ‘‘Automatic learning of dialogue strategy using dialogue simulation and reinforcement learning,’’ in Proc. 2nd Int. Conf. Human Lang. Technol. Res., San Diego, CA, 2002, pp. 12–19.

J. Henderson, O. Lemon, and K. Georgila, ‘‘Hybrid reinforcement/supervised learning of dialogue policies from fixed datasets,’’ Comput. Linguist., vol. 34, no. 4, pp. 487–511, 2008.

J. Schatzmann, K. Weilhammer, M. Stuttle, and S. Young, ‘‘A survey of statistical user simulation techniques for reinforcement-learning of dialogue management strategies,’’ Knowl. Eng. Rev., vol. 21, no. 2, pp. 97–126, Jun. 2006.

H. Hastie, ‘‘Metrics and evaluation of spoken dialogue systems,’’ in Data-Driven Methods for Adaptive Spoken Dialogue Systems: Computational Learning for Conversational Interfaces. New York: Springer-Verlag, 2012.

O. Pietquin and H. Hastie, ‘‘A survey on metrics for the evaluation of user simulations,’’ Knowl. Eng. Rev., 2012, DOI:http://dx.doi.org/10.1017/ S0269888912000343.

J. Schatzmann, K. Georgila, and S. Young, ‘‘quantitative evaluation of user simulation techniques for spoken dialogue systems,’’ in Proc. Annu. Meeting Special Interest Group Discourse Dialogue, Lisbon, Portugal, 2005, pp. 45–54.

J. Williams, ‘‘Evaluating user simulations with the Cramervon Mises divergence,’’ Speech Commun., vol. 50, pp. 829–846, 2008.

S. Janarthanam, H. Hastie, O. Lemon, and X. Liu, ‘‘‘The day after the day after tomorrow?’ A machine learning approach to adaptive temporal expression generation: Training and evaluation with real users,’’ in Proc. Annu. Meeting Special Interest Group Discourse Dialogue, Portland, OR, 2011, pp. 142–151.

K. Kim and G. G. Lee, ‘‘Multimodal dialog system using hidden information state dialog manager,’’ in Proc. Int. Conf. Multimodal Interfaces Demonstration Session, Nagoya, Japan, 2007.

K. Kim, C. Lee, S. Jung, and G. Lee, ‘‘A frame-based probabilistic framework for spoken dialog management using dialog examples,’’ in Proc. Special Interest Group Discourse Dialogue (SIGDIAL) Workshop Discourse Dialogue, Columbus, OH, 2008, pp. 120–127.

J. Williams, ‘‘Applying POMDPs to Dialog Systems in the Troubleshooting Domain,’’ in Proc. HLT/NAACL Workshop Bridging the Gap: Acad. Ind. Res. Dialog Technol., Rochester, NY, 2007, pp. 1–8.

B. Thomson, K. Yu, S. Keizer, M. Gasic, F. Jurcicek, F. Mairesse, and S. Young, ‘‘Bayesian dialogue system for the let’s go spoken dialogue challenge,’’ in Proc. IEEE Spoken Lang. Technol. Workshop, Berkeley, CA, 2010, pp. 460–465.

E. Levin, R. Pieraccini, and W. Eckert, ‘‘Learning dialogue strategies within the Markov decision process framework,’’ in Proc. IEEE Workshop Autom. Speech Recognit. Understand., Santa Barbara, CA, 1997, pp. 72–79.

S. Singh, M. Kearns, D. Litman, and M. Walker, ‘‘Reinforcement learning for spoken dialogue systems,’’ in Proc. Neural Inf. Process. Syst., 1999.

原文參考：http://www.cipsc.org.cn/qngw/?p=957