使用Gensim word2vector訓(xùn)練詞向量

引用文章:https://zhuanlan.zhihu.com/p/40016964

注意事項

Skip-Gram models:輸入為單個詞跃洛,輸出目標(biāo)為多個上下文單詞瑰枫;

CBOW models:輸入為多個上下文單詞降狠,輸出目標(biāo)為一個單詞西篓;

選擇的訓(xùn)練word2vec的語料要和要使用詞向量的任務(wù)相似锣光,并且越大越好,論文中實驗說明語料比訓(xùn)練詞向量的模型更加的重要蔬浙,所以要盡量收集大的且與任務(wù)相關(guān)的語料來訓(xùn)練詞向量猪落;

語料小(小于一億詞畴博,約 500MB 的文本文件)的時候用 Skip-gram 模型笨忌,語料大的時候用 CBOW 模型;

設(shè)置迭代次數(shù)為三五十次俱病,維度至少選 50官疲,常見的詞向量的維度為256、512以及處理非常大的詞表的時候的1024維亮隙;

模型訓(xùn)練:

LineSentence(inp):格式簡單:一句話=一行; 單詞已經(jīng)過預(yù)處理并被空格分隔袁余。?

size:是每個詞的向量維度;?

window:是詞向量訓(xùn)練時的上下文掃描窗口大小咱揍,窗口為5就是考慮前5個詞和后5個詞;

min-count:設(shè)置最低頻率棚饵,默認(rèn)是5煤裙,如果一個詞語在文檔中出現(xiàn)的次數(shù)小于5,那么就會丟棄噪漾;?

workers:是訓(xùn)練的進程數(shù)(需要更精準(zhǔn)的解釋硼砰,請指正),默認(rèn)是當(dāng)前運行機器的處理器核數(shù)欣硼。這些參數(shù)先記住就可以了题翰。?

sg ({0, 1}, optional) – 模型的訓(xùn)練算法: 1: skip-gram; 0: CBOW?

alpha (float, optional) – 初始學(xué)習(xí)率?

iter (int, optional) – 迭代次數(shù),默認(rèn)為5?

model=Word2Vec(LineSentence(inp),size=400,window=5,min_count=5,workers=multiprocessing.cpu_count())

model.save(outp1)

#不以C語言可以解析的形式存儲詞向量

model.wv.save_word2vec_format(outp2,binary=False)

模型使用:


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市豹障,隨后出現(xiàn)的幾起案子冯事,更是在濱河造成了極大的恐慌,老刑警劉巖血公,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件昵仅,死亡現(xiàn)場離奇詭異,居然都是意外死亡累魔,警方通過查閱死者的電腦和手機摔笤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來垦写,“玉大人吕世,你說我怎么就攤上這事√萃叮” “怎么了命辖?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長晚伙。 經(jīng)常有香客問我吮龄,道長,這世上最難降的妖魔是什么咆疗? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任漓帚,我火速辦了婚禮,結(jié)果婚禮上午磁,老公的妹妹穿的比我還像新娘尝抖。我一直安慰自己,他們只是感情好迅皇,可當(dāng)我...
    茶點故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布昧辽。 她就那樣靜靜地躺著,像睡著了一般登颓。 火紅的嫁衣襯著肌膚如雪搅荞。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天框咙,我揣著相機與錄音咕痛,去河邊找鬼。 笑死喇嘱,一個胖子當(dāng)著我的面吹牛茉贡,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播者铜,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼腔丧,長吁一口氣:“原來是場噩夢啊……” “哼放椰!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起愉粤,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤砾医,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后科汗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體藻烤,經(jīng)...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年头滔,在試婚紗的時候發(fā)現(xiàn)自己被綠了怖亭。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,716評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡坤检,死狀恐怖兴猩,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情早歇,我是刑警寧澤倾芝,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站箭跳,受9級特大地震影響晨另,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜谱姓,卻給世界環(huán)境...
    茶點故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一借尿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧屉来,春花似錦路翻、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至慨绳,卻和暖如春掉冶,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背脐雪。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工厌小, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人喂江。 一個月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像旁振,于是被迫代替她去往敵國和親获询。 傳聞我的和親對象是個殘疾皇子涨岁,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,612評論 2 350

推薦閱讀更多精彩內(nèi)容