總體框架
- 對(duì)于輸入Q悬垃,從QA庫(kù)中檢索出最接近的k個(gè)(q,a)對(duì),其中檢索模型(IR)基于BM25,并經(jīng)過(guò)了去停用詞等預(yù)處理
-
對(duì)每個(gè)候選的(Q,a)對(duì)進(jìn)行評(píng)分传于,其中評(píng)分模型(Answer Rerank)采用預(yù)訓(xùn)練的seq2seq(與2中相同)計(jì)算字符串出現(xiàn)的平均概率:
- 如果2中得到的最高評(píng)分大于閾值T,最直接輸出得到最高評(píng)分的候選答案a醉顽;否則沼溜,從4的模型中生成答案
- 生成模型基于采用帶attention的seq2seq,論文中采用的cell是GRU游添,并強(qiáng)調(diào)了自己采用了bucketing系草、padding、sampled softmax唆涝、beam search(top10) decoder(赤裸裸的灌水找都。。廊酣。)
seq2seq模型如圖能耻,h、s分別是encoder和decoder的狀態(tài)亡驰,encoder之后疊加了attention機(jī)制晓猛,很基本的模型,嚴(yán)重懷疑訓(xùn)練樣本的質(zhì)量太高堆砌出了這樣一篇大水文凡辱。戒职。。