Pik是單詞i出現(xiàn)在含有單詞k的文本中的概率=Xij/Xi(X是次數(shù))农尖。這個比率很有意義,能揭示兩個單詞之間的關系。
因此,需要建立一個表達式來計算這個比率图贸。
目的是要尋找最優(yōu)的詞向量Wi,使得對這個向量的計算之后的結果更接近于真實的比率冕广。
以上都是推導過程疏日,在算法中體現(xiàn)的只有下式(損失函數(shù))。
損失函數(shù):
f是自定義的權重撒汉。
該方法的最壞復雜度是O(C) 遠小于word2vec的O(V^2)
Pik是單詞i出現(xiàn)在含有單詞k的文本中的概率=Xij/Xi(X是次數(shù))农尖。這個比率很有意義,能揭示兩個單詞之間的關系。
因此,需要建立一個表達式來計算這個比率图贸。
目的是要尋找最優(yōu)的詞向量Wi,使得對這個向量的計算之后的結果更接近于真實的比率冕广。
以上都是推導過程疏日,在算法中體現(xiàn)的只有下式(損失函數(shù))。
損失函數(shù):
f是自定義的權重撒汉。
該方法的最壞復雜度是O(C) 遠小于word2vec的O(V^2)