句子相似度計(jì)算之sentence embedding_1

SIF

Smooth Inverse Frequency

A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS

  1. 用weighted average of the word vectors表示句子;
    對(duì)詞w播聪,詞頻表示為p(w)治拿,權(quán)重為a阅爽,則:
    a/(a + p(w) )
  2. 在用PCA或者SVD進(jìn)行降維:去掉 first principal component (common component removal)豁陆。
SIF

FastSent

Learning to understand phrases by embedding the dictionary

We propose using the definitions found in everyday dictionaries as a means of bridging this gap between lexical and phrasal semantics. Neural language embedding models can be effectively trained to map dictionary definitions (phrases) to (lexical) representations of the words defined by those definitions. We present two applications of these architectures: reverse dictionaries that return the name of a concept given a definition or description and general-knowledge crossword question answerers. On both tasks, neural language embedding models trained on definitions from a handful of freely-available lexical resources perform as well or better than existing commercial systems that rely on significant task-specific engineering.

Skip-Thought

Skip-Thought Vectors
Code: https://github.com/ryankiros/skip-thoughts

無監(jiān)督學(xué)習(xí)句子向量研侣。
數(shù)據(jù)集:continuity of text from books
Hypothesize:Sentences that share semantic and syntactic properties are thus mapped to similar vector representations痕支。
OOV的處理:vocabulary expansion掂铐,使得詞表可以覆蓋million級(jí)別的詞量。

Model

Skip-Thought

模型結(jié)構(gòu):encoder-decoder
skip-gram: use a word to predict its surrounding context;
skip-thought: encode a sentence to predict the sentences around it.
Training corpus: BookCorpus dataset, a collection of novels, with 16 different genres,.
輸入:a sentence tuple (s_{i-1},s_{i+1})
Encoder: feature extractor --> skip-thought vector
Decoders: one for s_{i-1}, one for s_{i+1}
Objective function: \sum_t logP(w_{i+1}^t | w_{i+1}^{<t},h_i) + \sum_t logP(w_{i-1}^t | w_{i-1}^{<t},h_i)

下游任務(wù):8種埋合, semantic relatedness, paraphrase detection, image-sentence ranking, question-type classification and 4 benchmark sentiment and subjectivity datasets。

InferSent

Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
Code: https://github.com/facebookresearch/InferSent

監(jiān)督式學(xué)習(xí)句子向量萄传。
數(shù)據(jù)集:Standford Natural Language Inference datasets(SNLI)甚颂,包含570k個(gè)人工生成的英語句子對(duì),3種標(biāo)簽判讀句子對(duì)的關(guān)系秀菱,entailment, contradiction, neutral振诬。
向量表示:300d GloVe vectors
Hypothesize:使用SNLI數(shù)據(jù)集,足夠?qū)W習(xí)到句子表達(dá)衍菱。

InferSent

Model

3種向量拼接方式:

  1. concatenation of u,v;
  2. element-wise product u\cdot v;
  3. absolute element-wise difference |u-v|

7種模型結(jié)構(gòu):

  1. LSTM
  2. GRU
  3. GRU_last: concatenation of last hidden states of forward and backward
  4. BiLSTM with mean pooling
  5. BiLSTM with max pooling
  6. Self-attentive network
  7. Hierarchical convolutional networks.

Universal Sentence Encoder

Universal Sentence Encoder
code: https://tfhub.dev/google/universal-sentence-encoder/2

通過學(xué)習(xí)多個(gè)NLP任務(wù)來encode句子赶么,從而得到句子表達(dá)。
Model
訓(xùn)練集:SNLI
遷移任務(wù):MR, CR, SUBJ, MPQA, TREC, SST, STS Benchmark, WEAT
遷移的輸入:concatenation (sentence, word)

模型結(jié)構(gòu):2種encoders:

  1. Transformer
    準(zhǔn)確率高脊串,但模型復(fù)雜度高辫呻,計(jì)算開銷大清钥。
    步驟:
    a. Word representation:element-wise sum (word, word_position)
    c. PTB tokenized string得到512d的句子表示

  2. DAN(deep averaging network)
    損失一點(diǎn)準(zhǔn)度,但效率高放闺。
    a. Words + bi_grams
    b. averaged embeddings
    c. DNN得到sentence embeddings

SentenceBERT

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

SBERT

Model
訓(xùn)練集:SNLI, Multi-Genre NLI祟昭,前者為3分類數(shù)據(jù),后者為sentence-pair形式怖侦。
使用的BERT向量:

  1. [CLS]:BERT output [CLS]token
  2. MEAN:BERT output 向量平均
  3. MAX:BERT output 向量取max

目標(biāo)函數(shù):

  1. 分類:o = softmax(W_t(u,v,|u-v|)
  2. 回歸
  3. Triplet:max(||s_a - s_p|| - ||s_a - s_n|| + \e , 0)
    其中:
    s_a:anchor sentence
    s_p:positive sentence
    s_n:negative sentence
    模型需要讓anchor和positive的距離小于anchor和negative的距離篡悟。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市匾寝,隨后出現(xiàn)的幾起案子搬葬,更是在濱河造成了極大的恐慌,老刑警劉巖艳悔,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件急凰,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡很钓,警方通過查閱死者的電腦和手機(jī)香府,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來码倦,“玉大人企孩,你說我怎么就攤上這事≡” “怎么了勿璃?”我有些...
    開封第一講書人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)推汽。 經(jīng)常有香客問我补疑,道長(zhǎng),這世上最難降的妖魔是什么歹撒? 我笑而不...
    開封第一講書人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任莲组,我火速辦了婚禮,結(jié)果婚禮上暖夭,老公的妹妹穿的比我還像新娘锹杈。我一直安慰自己,他們只是感情好迈着,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開白布竭望。 她就那樣靜靜地躺著,像睡著了一般裕菠。 火紅的嫁衣襯著肌膚如雪咬清。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,713評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音旧烧,去河邊找鬼影钉。 笑死,一個(gè)胖子當(dāng)著我的面吹牛粪滤,可吹牛的內(nèi)容都是我干的斧拍。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼杖小,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼肆汹!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起予权,我...
    開封第一講書人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤昂勉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后扫腺,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體岗照,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年笆环,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了攒至。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡躁劣,死狀恐怖迫吐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情账忘,我是刑警寧澤志膀,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站鳖擒,受9級(jí)特大地震影響溉浙,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蒋荚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一戳稽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧期升,春花似錦惊奇、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽吨铸。三九已至行拢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間诞吱,已是汗流浹背舟奠。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工竭缝, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沼瘫。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓抬纸,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親耿戚。 傳聞我的和親對(duì)象是個(gè)殘疾皇子湿故,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容