內(nèi)容來源:2017年4月17日悦昵,愛因互動技術合伙人吳金龍在“深度學習最新進展與實踐”進行《Chatbots 中對話式交互系統(tǒng)的分析與應用》演講分享萧吠。IT大咖說(ID:itdakashuo)作為獨家視頻合作方鸥咖,經(jīng)主辦方和講者審閱授權(quán)發(fā)布。
閱讀字數(shù):2233?| 5分鐘閱讀
嘉賓演講視頻回顧及PPT,請點擊:http://t.cn/Rezi3Wd
摘要
一直以來,人機交互方式都在發(fā)生著不斷的變化菜皂,從命令行交互适室,GUI交互轮蜕,GUI+交互诊杆,直到現(xiàn)在的對話交互(CUI)。之前傳統(tǒng)交互都是人在適配機器氓拼,而CUI則實現(xiàn)了機器來適配人你画。本次演講將介紹常用的對話交互技術框架,并通過實踐來分享chatbots系統(tǒng)平臺的技術和挑戰(zhàn)桃漾。
Chatbots簡史
三個火槍手:三個Bot框架
IR-Bot:智能檢索機器人
智能檢索的框架和搜索引擎差不多坏匪。第一步的問題分析包括了實體識別、問題分類呈队、指代消解剥槐、關系抽取和情感分析。
第一步完成后進行檢索宪摧,將對應的問題檢索到庫里的相關問題粒竖。這里最傳統(tǒng)的方式就是用詞,如果一個詞在用戶問題和庫里的問題都出現(xiàn)過几于,我認為它們是相關的蕊苗。更復雜的可以用詞向量做檢索。檢索就是把庫里和用戶問題相關的對應問題或答案檢索出來沿彭。很多時候會用到和領域朽砰、所在應用相關的知識庫或知識圖譜,這個會在問題分析和檢索里做對應喉刘。
檢索出來的候選級會進行排序瞧柔,排序最簡單的是TF-IDF。現(xiàn)在有更多的技術睦裳,比如基于排序方式還有LtR以及深度學習的CNN/RNN相關造锅。
最后排序完給出的就是最終答案。
基于CNN/RNN廉邑,把一個問題或答案變成一種向量化的表示哥蔚。上圖中左邊框架是把CNN用到一個句子上,將句子變成一個向量的表達蛛蒙。這樣理論上來說可以做到詞之間的長效關系糙箍。
在獲得問題和答案的向量代表之后,我們可以用其它的框架進行匹配牵祟。例如上圖中右邊的框架深夯,X是問題,Y是答案诺苹。通過CNN的抽取得到兩個向量咕晋,再把它變成相似度的分數(shù)計算,最后如果分數(shù)高筝尾,我們認為這兩個是比較匹配的捡需。
檢索問題和問題間的相關性。上圖左邊框架中筹淫,兩個問題都做詞向量站辉,然后判斷它們的相似性。右邊框架相對復雜一些损姜,可以判斷兩個向量的距離以及它們之間的點擊饰剥。
這些是問題和問題或問題和答案之間匹配的常用框架,在這一塊深度學習已經(jīng)做得比較成熟摧阅。
Task-Bot:任務對話機器人
做多人對話或者任務型多人對話常用的對話叫做任務型機器人汰蓉,全稱是基于任務導向的機器人。
基于任務導向的常用框架第一部分棒卷,用戶輸入后會進入理解模塊顾孽。理解模塊里主要包括語音識別和語言理解祝钢。語音識別是把用戶的語音識別成文字,語言理解是把語音識別出來的自然語言解析成結(jié)構(gòu)化數(shù)據(jù)若厚。
語言理解的結(jié)果會輸出到對話理解模塊拦英,對話理解模塊里包含了對話狀態(tài)追蹤和策略優(yōu)化兩個模塊。
因為任務型的這套框架主要是做多人對話测秸,所以多人對話的時候我們需要記住用戶在前幾輪說的話或者系統(tǒng)前幾輪給的回答疤估,對話狀態(tài)追蹤做的就是把用戶和系統(tǒng)歷史上的交互相關信息記錄下來。
策略優(yōu)化是根據(jù)當前所處的狀態(tài)去給出系統(tǒng)應該怎樣回答用戶最近一次提問的方法霎冯。策略優(yōu)化的輸出就是一個結(jié)構(gòu)化的表示铃拇。對話狀態(tài)應該包含持續(xù)對話所需要的各種信息,依據(jù)系統(tǒng)最新的系統(tǒng)和用戶動作沈撞,更新對話狀態(tài)慷荔。
產(chǎn)生模塊中有語言產(chǎn)生和語音合成。語言產(chǎn)生是把結(jié)構(gòu)化的信息翻譯成自然語言关串,返回給用戶的是一種容易理解的東西拧廊。語言合成是把文字合成為語音。
從去年開始到現(xiàn)在晋修,已經(jīng)出現(xiàn)其它很多端到端的框架吧碾。這些就是常用的基于多元對話的任務型技術框架。
Chitchat-Bot:開域閑聊機器人
開域閑聊機器人在深度學習中發(fā)展最快的方向墓卦,常用的框架就是翻譯模型倦春。
但是直接把翻譯模型放進來以后并沒有想象中那么好,最大的問題是它容易產(chǎn)生安全的答案落剪。
目標函數(shù)中有三個考慮:
對話容易繼續(xù)進行睁本,降低“我不知道”這類答案的可能性。
帶來新的信息忠怖,讓產(chǎn)生的答復與之前的不同呢堰。
語義要連貫。加入互信息:同時考慮從answer到question的概率凡泣。
還有其它的因素就是要小心數(shù)據(jù)訓練枉疼,以及如何引入上下文信息、如何加入外部信息鞋拟、如何產(chǎn)生個性化答復骂维。
總結(jié):三個Bot框架
如果IR-Bot的成熟度有五分,那么Task-Bot的成熟度就是三分贺纲,Chitchat-Bot的成熟度只有一分航闺。
IR-Bot基于檢索/排序的流程,歷史悠久,技術成熟潦刃。引入深度學習侮措,計入長效依賴,生成更好的語句表達福铅。
Task-Bot是一個適合去做解決任務型的框架萝毛,它強調(diào)的是多輪問答的邏輯项阴。
Chitchat-Bot是一個新的領域滑黔,是深度學習在NLP的新舞臺。它目前的完善度還很低环揽,還有很長的路要走略荡。但它的發(fā)展也是很快的,每年都有非常多的論文在開域聊天這塊發(fā)表出來歉胶。
愛因互動EIN+:深度定制對話服務
愛因互動EIN+是一個為其它企業(yè)提供人工智能對話解決方案的小型創(chuàng)業(yè)公司汛兜,把對話作為一種服務輸出。
Bot應用場景
有清晰的知識結(jié)構(gòu)和邊界通今。
應用場景是一個非標準化服務粥谬,信息不對稱。
能夠通過數(shù)據(jù)積累提升服務質(zhì)量辫塌。
能夠建立知識和技術壁壘漏策。
對話作為粘合劑,連接用戶和對應的產(chǎn)品臼氨,提高用戶到產(chǎn)品的轉(zhuǎn)化率掺喻。
愛因互動:API in,API out
愛因互動合作模式基本都是API的方式储矩。合作方只需提供原始數(shù)據(jù)感耙,我們會建立對應的知識庫和問答語料,再把它放入EinBot算法的后臺框架里持隧,最后生成對應的系統(tǒng)API即硼,合作方只要調(diào)用我們的API就可以了。
各路API快速對接
愛因互動提供了很多API的方式屡拨,比如Ein API只酥、Wechat、BearyChat以及其它的洁仗。只要合作方有一定的開發(fā)能力层皱,只要一周左右就能上線一個可用的聊天機器人。
啟示
如果無法理解問題赠潦,那就盡可能給出正確答案叫胖。如果可以識別出焦點詞,就能獲得更為人性化的答案她奥;定型詞則是依據(jù)給定的一段話瓮增,回答對應的提問怎棱。
根據(jù)不同的問題使用不同的方法。
合作方式總結(jié)
快速部署绷跑,深度定制拳恋。持續(xù)迭代,價值優(yōu)先砸捏。
總結(jié):一個嶄新的世界
趨勢
現(xiàn)在智能設備越來越多谬运,從人遷就機器變?yōu)榱藱C器遷就人。GUI的發(fā)展非常高效垦藏,但是給我們帶來的孤獨感也很強梆暖。CUI能否為我們帶回幸福感,還是一個需要探索的話題掂骏。
對話交互的價值:在哪兒/在那兒
對話交互目前還處于行業(yè)早期階段轰驳,除了技術比較成熟,還有很多不成熟的方面弟灼,它的價值還有待驗證级解。
現(xiàn)在的技術有限,需要界定合理的需求田绑,降低合作方的相關需求勤哗。
對話設計要更優(yōu)雅地達到目的。
我們希望在現(xiàn)在的基礎上做能做且有價值的事辛馆,努力把不能做的變成可做的俺陋。
今天的分享到此結(jié)束,謝謝大家昙篙!