4篇SIGIR短文
[1] [SIGIR19] BERT with History Answer Embedding for Conversational Question Answering
[2] [SIGIR19] CEDR Contextualized Embeddings for Document Ranking
[3] [SIGIR19] Deeper Text Understanding for IR with Contextual Neural Language Modeling
[4] [SIGIR19] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance
- 都是利用BERT做兩個(gè)句子相關(guān)度計(jì)算
- [1] 在原始BERT的Embedding處理的基礎(chǔ)上加了一個(gè)History Answer Encoder（HAE），用來(lái)表示這個(gè)詞語(yǔ)是否在答案中出現(xiàn)過(guò)
- 然后就都沒(méi)有別的什么與BERT相關(guān)的花樣了
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
- 直接把BERT用到推薦系統(tǒng)
- 把預(yù)測(cè)mask和預(yù)測(cè)下一個(gè)一起做
[IJCAI19] Story Ending Prediction by Transferable BERT
- 這篇是用BERT預(yù)測(cè)故事的結(jié)局
-
具體分3步走焰宣，第一步用原始訓(xùn)練BERT的方式預(yù)訓(xùn)練BERT，第二步同時(shí)用3個(gè)語(yǔ)言任務(wù)來(lái)繼續(xù)訓(xùn)練BERT，最后是訓(xùn)練需要的預(yù)測(cè)任務(wù)
3步多任務(wù)學(xué)習(xí)
[ACL19-workshop] A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension
- 用BERT做多輪對(duì)話
-
方法就是把當(dāng)前問(wèn)題、歷史問(wèn)題蒜田、歷史答案都用一個(gè)BERT模型建模得到基于上下文的表示俱病，然后全部拼到一起，再用兩層GRU得到回答的開始和結(jié)束位置
模型圖
[ACL19] Multi-Task Deep Neural Networks for Natural Language Understanding
-
用BERT做多任務(wù)學(xué)習(xí)仅醇，同時(shí)訓(xùn)練多個(gè)語(yǔ)言方面的任務(wù)
模型圖
總結(jié)
- 除了SIGIR[1]那邊給BERT模型增加了一個(gè)HAE，還沒(méi)有看到有文章改了BERT結(jié)構(gòu)的
- 大部分文章也就是在直接用BERT模型完成各種不同的任務(wù)魔种，就像以前是用RNN析二、CNN、Attention之類的节预，不過(guò)現(xiàn)在改成用BERT了叶摄，而且大多也能做預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)
