CBOW 周圍詞預(yù)測(cè)中心詞
skip gram 中心詞預(yù)測(cè)周圍詞
image.png
SkipGram模型講解
1.目標(biāo)函數(shù)
2.具備條件 兩個(gè)詞越相似翘贮，P(c,w;θ) 越大
image.png
3.表示方法：中心詞有個(gè)embedding V罪裹，上下文詞有embedding U 注意是兩個(gè)矩陣禀横！大小為 詞庫(kù)size×embedding_size
image.png
得到了SkipGram目標(biāo)函數(shù)之后拌夏，發(fā)現(xiàn)了這個(gè)目標(biāo)函數(shù)其實(shí)不好優(yōu)化滤淳。所以需要換一種方式去優(yōu)化肉瓦，其中比較流行的方法是使用負(fù)采樣
