上學(xué)期讀了有關(guān)word2vec的兩篇paper之后，不是很明白致份，這學(xué)期重新花時間再讀变抽，并且根據(jù)這兩篇paper進(jìn)行一個詞向量相關(guān)的實(shí)驗(yàn)，選來選去氮块，發(fā)現(xiàn)網(wǎng)上有大神就wiki中英文語料庫進(jìn)行訓(xùn)練绍载，鑒于渣渣水平，于是就選擇了訓(xùn)練使用詞向量來訓(xùn)練wiki中英文語料庫滔蝉。
整個過程參考：“我愛自然語言處理”：www.52nlp.cn
準(zhǔn)備工作
為了訓(xùn)練語料庫击儡，當(dāng)然需要去下載。英文wiki語料庫（11.9G)?中文wiki語料庫(1.2G)
然后就是準(zhǔn)備好編譯環(huán)境蝠引，語言選擇的是python阳谍，使用了gensim的庫蛀柴，該庫是由Radim ?eh??ek博士基于google發(fā)布的C語言版本的word2vec編寫的Python庫。如何安裝該庫就不多說了矫夯。
處理流程
1鸽疾、英文wiki訓(xùn)練
首先需要將xml的文件轉(zhuǎn)換成txt文件，主要通過process_wiki.py這個腳本來進(jìn)行训貌，在參考文考網(wǎng)頁中提出了注意“wiki = WikiCorpus(inp, lemmatize=False, dictionary={})"將lemmatize設(shè)置為False避免使用Pattern來講英文單詞詞干化處理制肮，以免變得很慢，于是就華麗麗的接受递沪。整個過程大概用了5個小時左右豺鼻，共有差不多400W的articles。
執(zhí)行命令為：python3 process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text
生成了wiki.en.text款慨，生成的效果如下：
接下來就是拿wiki.en.text的文本進(jìn)行詞向量的調(diào)用處理儒飒，通過train_word2vec_model.py的腳本對該文件進(jìn)行處理。
執(zhí)行的命令為：
python3 train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector.?
同樣采取參考blog的方式樱调，保存了vector方便debug约素。訓(xùn)練了大概8個小時左右，之后在ipython中對已經(jīng)訓(xùn)練好的model進(jìn)行調(diào)試笆凌，調(diào)試如下：
在這里調(diào)試的時候并沒有遇到參考blog中說到得問題圣猎，這里具體原因是什么,還是需要討論。但是可以看出效果其實(shí)不怎么好乞而，以后有機(jī)會會使用word2vec的C版本進(jìn)行試驗(yàn)送悔。當(dāng)然，這里可以使用model的其他函數(shù)進(jìn)行調(diào)試爪模，具體可以看gensim的文檔進(jìn)行查看欠啤。
2、中文wiki訓(xùn)練
同樣地和英文一樣屋灌，使用process_wiki.py 進(jìn)行腳本處理洁段，處理了10分鐘，執(zhí)行命令為：
python3 process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.cn.text
處理得到的效果如下：
咦共郭，全是繁體字祠丝，那么由于某種原因，wiki中文版本都是繁體字的語料除嘹，而且可以看出有一些英文写半，還有一些其他字符，而且還需要對中文進(jìn)行分詞尉咕，這些都是需要處理的部分叠蝇。那么我們一步一步的來。
1）繁體轉(zhuǎn)簡體
繁體轉(zhuǎn)成簡體年缎，通過blog得知了一種叫opencc的工具:OpenCC（github地址）
由于是OS X的系統(tǒng)悔捶，參見安裝說明铃慷，但是發(fā)現(xiàn)并沒有安裝brew，于是又去安裝brew炎功，興致沖沖的點(diǎn)進(jìn)homebrew安裝枚冗，結(jié)果發(fā)現(xiàn)主頁無法進(jìn)去，無奈又開始尋找解決方法蛇损，百度之赁温。百度排名第一的英文界面貌似可以解決。
然而點(diǎn)進(jìn)去淤齐，依然無法找到網(wǎng)頁股囊，于是機(jī)智的我點(diǎn)了百度快照。
接下來就是一路安裝更啄，完成OpenCC的安裝后稚疹。
執(zhí)行命令：opencc -i wiki.cn.text -o wiki.cn.text.jian -c t2s.json
2）分詞
中文不像英文一樣，天生自帶空格祭务，于是就有了中文分詞内狗，在python中中文分詞做的比較好的庫是jieba分詞庫jieba（github地址）
通過代碼庫的實(shí)例，于是寫了分詞腳本seperate_words.py.
執(zhí)行命令：python3 separate_words.py wiki.cn.text.jian wiki.cn.text.jian.seq?
得到了分好詞的文件
3）去除多余的其他字符
最后通過python中自帶的re庫义锥，使用正則表達(dá)式將其他字符去除柳沙，代碼在remove_words.py
執(zhí)行命令：python3 separate_words.py?wiki.cn.text.jian.seq wiki.cn.text.jian.removed
之后就和英文分詞一樣，通過train_word2vec_model.py 進(jìn)行處理
執(zhí)行命令：python3 train_word2vec_model.py wiki.cn.text.jian.removed wiki.en.text.jian.model wiki.en.text.jian.vector.
最后測試一下運(yùn)行的效果：
----
代碼已經(jīng)進(jìn)行了review拌倍，在python3的情況下赂鲤，存在bytes和str不兼容的問題已經(jīng)解決了，另外將所有py文件全部放入一個文件中不同函數(shù)柱恤，在main()函數(shù)中也已經(jīng)進(jìn)行了各種處理的demo数初。由于gensim版本變化快，所以在載入model的時候可以參考最新gensim的api梗顺。
