? ?由于機器學習與自然語言處理技術(shù)的顯著進步和大規(guī)模知識庫以及海量網(wǎng)絡(luò)信息的出現(xiàn),自動問答系統(tǒng)離實際應(yīng)用越來越近蒂阱。然而業(yè)界應(yīng)用和學術(shù)研究洪乍,問句的真實意圖分析、問句與答案之間的匹配關(guān)系判別任然是制約自動問答系統(tǒng)性能的兩個關(guān)鍵難題开瞭。
? ? ?問答系統(tǒng)是信息檢索的一種高級形式懒震,它能用準確、簡潔的自然語言回答用戶用自然語言提出的問題惩阶。其研究興起的主要原因是人們對快速挎狸、準確地獲取信息的需求。其中問答系統(tǒng)是目前人工智能和自然語 言處理領(lǐng)域中倍受關(guān)注并具有廣泛發(fā)展前景的研究方向断楷。不同類型的問答系統(tǒng)對于數(shù)據(jù)處理的方法存在不同锨匆,一般問答系統(tǒng)的處理框架都包括問句理解、信息檢索、答案生成三個功能組成部分恐锣。
? ? ?問句理解:顧客的意圖只是一種抽象形式茅主,如果機器理解則需要轉(zhuǎn)換成機器能理解的形式,以此作為答案檢索的依據(jù)土榴。在研究過程中诀姚,信息需求作為用戶意圖的代表,根據(jù)問句的語義結(jié)構(gòu)可以從問題類別和問題內(nèi)容兩方面來表示玷禽。通常采用自然語言技術(shù)對問題進行深層次的理解赫段。
? ? ?信息檢索:根據(jù)問句理解得到的信息表示,信息檢索負責從已購語料庫矢赁、問答知識庫中檢索相關(guān)信息糯笙,傳遞給后續(xù)的答案生成模塊×靡基于不同的問答系統(tǒng)给涕,系統(tǒng)的檢索模型以及檢索數(shù)據(jù)形式也不同。對于基于問句答案對的問答系統(tǒng)额获,信息檢索處理是通過問句檢索得到與用戶提問相似的候選問句够庙,返回對應(yīng)的候選答案列表。問句檢索的主要研究方向在于如何縮小用戶提問與知識庫中問句之間的語義鴻溝
? ? ? 答案生成:基于信息檢索得到的檢索信息抄邀,答案生成模塊主要實現(xiàn)候選答案的抽取和答案的置信度計算耘眨,最終返回簡潔性、正確性的答案撤摸。按照答案信息粒度毅桃,候選答案抽取可以分為段落答案抽取、句子答案抽取准夷、詞匯短語答案抽取钥飞。答案置信度計算是將問題與候選答案進行句法和語義層面上的驗證處理,從而保證返回答案是與用戶提問最為匹配的結(jié)果衫嵌。應(yīng)用最廣泛是基于統(tǒng)計機器學習的置信度計算方法
?文章來源:www.xixi.ai(息息人工智能)