word2vec訓(xùn)練詞向量前期處理-中文分詞等

1.選擇語料庫

這個(gè)是我項(xiàng)目私人的語料庫

具體操作方法就是把所有要處理的文字放到一個(gè)文件里坊萝,標(biāo)點(diǎn)符號(hào)什么的可以等在分詞的時(shí)候逐行處理空盼,反正要逐行分詞~

如圖:


只能窺探一角~

2.分詞處理

分詞工具我選擇的是jieba

項(xiàng)目地址:https://github.com/fxsjy/jieba

這上面的文檔齊全,足夠

1)安裝jieba:

看到網(wǎng)站上“全自動(dòng)”安裝幾個(gè)大字了吧~安裝好之后測(cè)試效果:


2)自定義詞典

參考官方解釋:https://github.com/fxsjy/jieba/blob/master/test/userdict.txt

我的語料庫是體育相關(guān)的比勉,所以很多詞匯jieba里面是沒有的,所以要添加自定義詞典,把新詞加進(jìn)去屎债。

看他的官方解釋,如果你想讓你自定義的詞必須一定要被分出來垢油,可以把最后一列的值調(diào)的很大盆驹,例如2000

我的詞典如下:


添加了一些自定義的詞

3)編寫分詞代碼

逐行進(jìn)行分詞,并且處理標(biāo)點(diǎn)符號(hào)以及停用詞等滩愁。

代碼放上來:


可以看到我把分詞結(jié)果保存到了一個(gè)txt文件當(dāng)中躯喇。

注意:我這里寫的有問題,不要把換行符處理掉硝枉, word2vec 把一個(gè)單詞的前面和后面的k個(gè)單詞作為context訓(xùn)練廉丽, 其中會(huì)自動(dòng)把換行符替換成 倦微,也就是句子分隔符。

ok雅倒,前期工作處理結(jié)束璃诀,下面進(jìn)行word2vec訓(xùn)練,輕松愉快~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蔑匣,一起剝皮案震驚了整個(gè)濱河市劣欢,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌裁良,老刑警劉巖凿将,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異价脾,居然都是意外死亡牧抵,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門侨把,熙熙樓的掌柜王于貴愁眉苦臉地迎上來犀变,“玉大人,你說我怎么就攤上這事秋柄』裰Γ” “怎么了?”我有些...
    開封第一講書人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵骇笔,是天一觀的道長(zhǎng)省店。 經(jīng)常有香客問我,道長(zhǎng)笨触,這世上最難降的妖魔是什么懦傍? 我笑而不...
    開封第一講書人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮芦劣,結(jié)果婚禮上粗俱,老公的妹妹穿的比我還像新娘。我一直安慰自己持寄,他們只是感情好源梭,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著稍味,像睡著了一般废麻。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上模庐,一...
    開封第一講書人閱讀 52,736評(píng)論 1 312
  • 那天烛愧,我揣著相機(jī)與錄音,去河邊找鬼。 笑死怜姿,一個(gè)胖子當(dāng)著我的面吹牛慎冤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播沧卢,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼蚁堤,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了但狭?” 一聲冷哼從身側(cè)響起披诗,我...
    開封第一講書人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎立磁,沒想到半個(gè)月后呈队,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡唱歧,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年宪摧,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片颅崩。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡几于,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出沿后,到底是詐尸還是另有隱情孩革,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布得运,位于F島的核電站,受9級(jí)特大地震影響锅移,放射性物質(zhì)發(fā)生泄漏熔掺。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一非剃、第九天 我趴在偏房一處隱蔽的房頂上張望置逻。 院中可真熱鬧,春花似錦备绽、人聲如沸券坞。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽恨锚。三九已至,卻和暖如春倍靡,著一層夾襖步出監(jiān)牢的瞬間猴伶,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留他挎,地道東北人筝尾。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像办桨,于是被迫代替她去往敵國(guó)和親筹淫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 注:參考文檔 一呢撞、在線詞云圖工具# (1)损姜、使用### 在正式使用jieba分詞之前,首先嘗試用在線分詞工具來將自...
    DearIreneLi閱讀 6,069評(píng)論 1 8
  • 常用概念: 自然語言處理(NLP) 數(shù)據(jù)挖掘 推薦算法 用戶畫像 知識(shí)圖譜 信息檢索 文本分類 常用技術(shù): 詞級(jí)別...
    御風(fēng)之星閱讀 9,206評(píng)論 1 25
  • 今天冷空氣如期而至狸相,晚上下班走在路上能感覺風(fēng)是裹挾著寒氣的薛匪。 我喜歡走在冬天冷冷的大街,如果再夾雜著寒風(fēng)脓鹃,迎面而來...
    慧眼識(shí)魚閱讀 736評(píng)論 10 14
  • 離心離德逸尖,人心渙散的拯救。 這場(chǎng)拯救事關(guān)人心瘸右,也將從人心開始娇跟。 傾聽 聽大家的抱怨,認(rèn)可其抱怨的初衷太颤,關(guān)注其抱怨的...
    藥一味閱讀 276評(píng)論 0 1
  • 馬克龍中學(xué)時(shí)就喜歡上他同學(xué)的母親龄章,也是他的老師吃谣,30歲時(shí)與該老師結(jié)婚時(shí),該老師已55歲做裙,并有3個(gè)孩子岗憋,7個(gè)孫子,一...
    霸王東渡閱讀 525評(píng)論 8 1