GloVe: Global Vectors for Word Representation


Pik是單詞i出現(xiàn)在含有單詞k的文本中的概率=Xij/Xi(X是次數(shù))农尖。這個比率很有意義,能揭示兩個單詞之間的關系。
因此,需要建立一個表達式來計算這個比率图贸。


F=exp

目的是要尋找最優(yōu)的詞向量Wi,使得對這個向量的計算之后的結果更接近于真實的比率冕广。
以上都是推導過程疏日,在算法中體現(xiàn)的只有下式(損失函數(shù))。

損失函數(shù):



f是自定義的權重撒汉。
該方法的最壞復雜度是O(C) 遠小于word2vec的O(V^2)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末沟优,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子睬辐,更是在濱河造成了極大的恐慌挠阁,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件溯饵,死亡現(xiàn)場離奇詭異侵俗,居然都是意外死亡,警方通過查閱死者的電腦和手機丰刊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進店門隘谣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人啄巧,你說我怎么就攤上這事洪橘。” “怎么了棵帽?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵熄求,是天一觀的道長。 經常有香客問我逗概,道長弟晚,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任逾苫,我火速辦了婚禮卿城,結果婚禮上,老公的妹妹穿的比我還像新娘铅搓。我一直安慰自己瑟押,他們只是感情好,可當我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布星掰。 她就那樣靜靜地躺著多望,像睡著了一般嫩舟。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上怀偷,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天家厌,我揣著相機與錄音,去河邊找鬼椎工。 笑死饭于,一個胖子當著我的面吹牛,可吹牛的內容都是我干的维蒙。 我是一名探鬼主播掰吕,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼颅痊!你這毒婦竟也來了殖熟?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤八千,失蹤者是張志新(化名)和其女友劉穎吗讶,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體恋捆,經...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡照皆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了沸停。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片膜毁。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖愤钾,靈堂內的尸體忽然破棺而出瘟滨,到底是詐尸還是另有隱情,我是刑警寧澤能颁,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布杂瘸,位于F島的核電站,受9級特大地震影響伙菊,放射性物質發(fā)生泄漏败玉。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一镜硕、第九天 我趴在偏房一處隱蔽的房頂上張望运翼。 院中可真熱鬧,春花似錦兴枯、人聲如沸血淌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽悠夯。三九已至癌淮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間疗疟,已是汗流浹背该默。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工瞳氓, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留策彤,地道東北人。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓匣摘,卻偏偏與公主長得像店诗,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子音榜,可洞房花燭夜當晚...
    茶點故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內容

  • 關鍵詞:自然語言處理(NLP)庞瘸,詞向量(Word Vectors),奇異值分解(Singular Value De...
    xiiao蝸牛閱讀 2,851評論 0 13
  • 前面的文章主要從理論的角度介紹了自然語言人機對話系統(tǒng)所可能涉及到的多個領域的經典模型和基礎知識赠叼。這篇文章擦囊,甚至之后...
    我偏笑_NSNirvana閱讀 13,867評論 2 64
  • 1.NLP當前熱點方向 詞法/句法分析 詞嵌入(word embedding) 命名實體識別(Name Entit...
    __Aragorn閱讀 5,990評論 1 9
  • 身邊的朋友都想戀愛 都念念叨叨的要戀愛 都非常想被寵愛 每次有人和我提起這些 我總是條件反射的問 你有目標了? 答...
    3f2bbdeda9aa閱讀 227評論 0 0
  • 19 98年嘴办,米雪13歲瞬场,讀初二。 如平時一樣涧郊,米雪要凌晨五點起床贯被,要到5公里外的學校讀書,如果晚了妆艘,...
    米夜雪閱讀 367評論 0 0