word2vec詞向量訓練及使用前的總體概述

這里做一個概述,主要介紹我遇到過得坑~

1.關于平臺

首先我想說的是平臺唧席,也就是windows和linux疾呻。我之前自己電腦一直是windows澈歉,裝tensorflow和其他一些工具也喜歡極力尋找windows的安裝和解決辦法圾叼,總是認為windows比較容易使用蛤克,并且認為任何東西都可以找到windows的解決辦法,事實上不是這樣夷蚊,也很沒有必要。

我想說的是windows越到后面越來越體現(xiàn)出他的坑髓介,開始使用linux會發(fā)現(xiàn)惕鼓,世界如此簡單。

所以關于word2vec詞向量的訓練方面我也沒有考慮windows唐础,倒是在網(wǎng)上有幾篇文章可供參考箱歧。

linux下訓練是非常極其相當簡單的。

2.關于兩種幾種語言的訓練方法

word2vec有好幾種語言的版本一膨,官方應該是C和C++呀邢,但是這個東西移植太簡單了,所以也不必在意豹绪。

但是我遇到的問題是:

使用C語言版訓練的詞向量价淌,在python中無法使用,無論是二進制文件還是txt文件

所以,我用了gensim也就是python版的訓練蝉衣,可以使用

3.關于中文

順序大概就是:選擇語料庫->分詞->訓練

當然分詞當中還有一些操作括尸,比如去重用,去標點符號病毡,添加自定義詞等等濒翻。

下面開始記錄我訓練的過程。


最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末啦膜,一起剝皮案震驚了整個濱河市有送,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌僧家,老刑警劉巖雀摘,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異啸臀,居然都是意外死亡届宠,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進店門乘粒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來豌注,“玉大人,你說我怎么就攤上這事灯萍≡” “怎么了?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵旦棉,是天一觀的道長齿风。 經(jīng)常有香客問我,道長绑洛,這世上最難降的妖魔是什么救斑? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮真屯,結(jié)果婚禮上脸候,老公的妹妹穿的比我還像新娘。我一直安慰自己绑蔫,他們只是感情好运沦,可當我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著配深,像睡著了一般携添。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上篓叶,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天烈掠,我揣著相機與錄音羞秤,去河邊找鬼。 笑死向叉,一個胖子當著我的面吹牛锥腻,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播母谎,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼瘦黑,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了奇唤?” 一聲冷哼從身側(cè)響起幸斥,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎咬扇,沒想到半個月后甲葬,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡懈贺,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年经窖,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片梭灿。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡画侣,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出堡妒,到底是詐尸還是另有隱情配乱,我是刑警寧澤,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布皮迟,位于F島的核電站搬泥,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏伏尼。R本人自食惡果不足惜忿檩,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望爆阶。 院中可真熱鬧休溶,春花似錦、人聲如沸扰她。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽徒役。三九已至,卻和暖如春窖壕,著一層夾襖步出監(jiān)牢的瞬間忧勿,已是汗流浹背杉女。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留鸳吸,地道東北人熏挎。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像晌砾,于是被迫代替她去往敵國和親坎拐。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容