目錄
? ? - Motivation:論文想要解決的問(wèn)題
? ? -?Methodology:本文提出的方法
? ? - experiment:實(shí)驗(yàn)結(jié)果
Motivation
- Bert 直接生成的sentence representation(SR) 不能很好的表達(dá)句子的語(yǔ)義尝盼。(相似的句子距離更近)
- 所以設(shè)計(jì)網(wǎng)絡(luò)來(lái)finetune bert,使得可以獲取nice的SR
Methodology
-?SBERT architecture with classification objective function:同時(shí)輸入兩個(gè)句子表蝙,最后使用entropy loss
注:fintune結(jié)束后箍土,bert+pooling可作為句子編碼器洛口。
-?SBERT architecture at inference:同時(shí)輸入兩個(gè)句子麻顶,可以使用MSEloss
experiment
- 使用SBERT框架&NLI finetune之后效果比BERT CLS-vector效果好