一些智能問答方案

索引庫(FAISS)+知識(shí)庫(DB)搭建智能客服系統(tǒng)
博客[1]基于索引庫(FAISS)+知識(shí)庫(DB)搭建了智能客服系統(tǒng)。通過將圖片、文本等通過某種方式進(jìn)行向量化表示（word2vec疚察、doc2vec、elmo碘耳、bert等）绝编，然后把這種特征向量進(jìn)行索引（faiss/Milus) ,最終實(shí)現(xiàn)在線服務(wù)系統(tǒng)的檢索，然后再通過一定的規(guī)則進(jìn)行過濾废封，獲取最終的數(shù)據(jù)內(nèi)容州泊。
利用bert和faiss實(shí)現(xiàn)基于向量的深層語義相似文本召回
基于信息檢索的自動(dòng)問答系統(tǒng)將整個(gè)流程簡化為粗召回和精排序。
一般借助 elstiscsearch 這個(gè)數(shù)據(jù)庫來存儲(chǔ) FAQ漂洋，然后再進(jìn)行索引召回遥皂。elstiscsearch使用的其實(shí)就是倒排索引技術(shù)，它事先把所有 question 進(jìn)行分詞刽漂，然后建立詞-文檔矩陣演训，最終實(shí)現(xiàn)根據(jù)單詞快速獲取包含這個(gè)單詞的文檔列表之目的。
使用該方法做相似文檔召回的優(yōu)勢很明顯贝咙，實(shí)現(xiàn)簡單仇祭、不需要訓(xùn)練模型、低資源需求颈畸、檢索速度快乌奇，深受各大小公司喜愛没讲。然而它的缺點(diǎn)也很明顯，文本是具有語義的礁苗、是有語法結(jié)構(gòu)的爬凑，倒排索引忽略了語句的語法結(jié)構(gòu)，同時(shí)也無法解決一詞多義和同義詞的問題试伙，也就它無法對 query 進(jìn)行語義層面的召回嘁信。
智能問答QA
問題改寫(question rewriting)任務(wù)旨在為輸入問題生成語義相同但表述方法不用的復(fù)述形式。該任務(wù)屬于nlp中的復(fù)述生成任務(wù)疏叨。
問題改寫對社區(qū)問答任務(wù)具有很好的輔助作用潘靖，社區(qū)問答知識(shí)庫中每個(gè)已有問題都可以匹配多種不同的用戶提問方式，對于和已有問題差別比較大的問法蚤蔓，在線問題匹配模型匹配成功的難度通常比較大卦溢，此時(shí)可以采用離線的方式對問答知識(shí)庫中已有的問題進(jìn)行改寫，以達(dá)到拓展問題知識(shí)庫的目的秀又。問題改寫一般分基于統(tǒng)計(jì)的方法和基于深度學(xué)習(xí)的方法单寂。
智能問答機(jī)器人
https://developer.aliyun.com/article/65188
阿里云開發(fā)者社區(qū)博客<智能問答機(jī)器人>，介紹了智能問答系統(tǒng)結(jié)構(gòu)吐辙、算法和數(shù)據(jù)接入宣决，劃分為離線的知識(shí)挖掘部分和在線的智能問答機(jī)器人部分，問答技術(shù)包括語義分析昏苏、知識(shí)提取和回答生成尊沸。
5.智能問答系統(tǒng)產(chǎn)品設(shè)計(jì)詳解之問答型機(jī)器人搭建
設(shè)計(jì)了智能問答產(chǎn)品功能，介紹了智能問答關(guān)鍵技術(shù)與流程贤惯。
6.AI實(shí)戰(zhàn)：垂直領(lǐng)域問答機(jī)器人QA Bot常見技術(shù)架構(gòu)
提出了智能問答檢索+匹配+排序架構(gòu)的技術(shù)架構(gòu)洼专；
介紹一些知識(shí)圖譜的實(shí)際應(yīng)用類項(xiàng)目
介紹了開源的醫(yī)療保險(xiǎn)領(lǐng)域知識(shí)圖譜、農(nóng)業(yè)知識(shí)圖譜(AgriKG)等
參考：
[1]自然語言處理（NLP）：24BERT+FAISS快速搭建智能客服系統(tǒng)
[2]基于向量的深層語義相似文本召回救巷？你需要bert和faiss
[3]智能問答QA(內(nèi)附項(xiàng)目實(shí)例)(待補(bǔ)充)
[4]智能問答機(jī)器人
[5]. 智能問答系統(tǒng)產(chǎn)品設(shè)計(jì)詳解之問答型機(jī)器人搭建
[6]. AI實(shí)戰(zhàn)：垂直領(lǐng)域問答機(jī)器人QA Bot常見技術(shù)架構(gòu)
[7]介紹一些知識(shí)圖譜的實(shí)際應(yīng)用類項(xiàng)目

最后編輯于：2021.08.09 15:22:36

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者