安裝
安裝環(huán)境為64位Linux系統(tǒng)
- 從github下載 THUTag
- 從官網(wǎng)下載 java8
- 解壓 jre-8u131-linux-x64.tar.gz层坠，將 jre1.8.0_131/bin添加到環(huán)境變量$PATH
運(yùn)行程序：
unzip THUTag-master.zip
cd THUTag-master/demo/
java -Xmx5G -jar ./tagsuggest.jar evaluation.CrossValidator \
--dataset=../traindata/bookPost70000.dat \
--trainer_class=TrainWTM \
--suggester_class=SMTTagSuggest \
--num_folds=5 \
--config="dataType=DoubanPost;para=0.5;minwordfreq=10;mintagfreq=10;selfTrans=0.2;commonLimit=2" \
--working_dir=./wtm_douban \
--at_n=10 \
--report=./evaluation_WTMreal.txt
上述測(cè)試的是交叉驗(yàn)證窿春，還可以訓(xùn)練新的模型：
java -Xmx5G -jar tagsuggest.jar train.TrainWAM \
--input=../traindata/KeywordPost.dat \
--output=./wam_news/ \
--config="num_tags=10;norm=all_log;size=13702;dataType=KeywordPost;minwordfreq=10;mintagfreq=10;para=0.8"
用訓(xùn)練模型進(jìn)行預(yù)測(cè)：
model_dir=wam_news
infile=1.txt
outfile=1.out
java -Xmx8G -jar tagsuggest.jar evaluation.TestDemo \
--model_path=$model_dir \
--algorithm=SMTTagSuggest \
--config="" \
--article_path=$infile \
--output_path=$outfile
輸入文件中放入一行文本，格式同KeywordPost.dat蔚润，json格式。輸出1.out是提取的關(guān)鍵詞及其權(quán)重烦租。
源碼分析
主要分析詞對(duì)齊模型WAM（word aligment model)
有三個(gè)除盏，區(qū)別在于構(gòu)造翻譯對(duì)：
./src/java/org/thunlp/tagsuggest/train/TrainWAM.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMWithtitleInstead.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMsample.java
TrainWAM.java采用的方法是對(duì)摘要+正文分句踱侣，然后統(tǒng)計(jì)句子詞的tfidf, 計(jì)算和標(biāo)題相同詞的加權(quán)和：
score += contentTfidf.get(word) * wordProb.get(j);
將score大于scoreLimit的句子選出來(lái)構(gòu)成翻譯對(duì)杠愧，選中句子的分詞結(jié)果寫(xiě)入文件book，對(duì)應(yīng)標(biāo)題分詞結(jié)果寫(xiě)入文件bookTag。
TrainWAMWithtitleInstead.java的不同在于用摘要+正文的第一個(gè)句子代表標(biāo)題構(gòu)造翻譯對(duì)。
TrainWAMsample.java從摘要+正文中采樣wordnum個(gè)詞，再?gòu)臉?biāo)題采樣wordnum個(gè)詞構(gòu)成翻譯對(duì)。采樣的權(quán)重為詞的tf-idf值，采樣方法為輪盤(pán)賭。
GIZA++用法
詳細(xì)用法可參考./giza-pp/GIZA++-v2和./giza-pp/mkcls-v2中的README文件
# 采用最大似然估計(jì)對(duì)詞分類(lèi)，分為80類(lèi)
mkcls -c80 -pbook -Vbook.vcb.classes opt
mkcls -c80 -pbookTag -VbookTag.vcb.classes opt
# 將純文本轉(zhuǎn)為GIZA文本格式
plain2snt.out bookTag book
#訓(xùn)練翻譯模型：from word to tag
GIZA++ -S book.vcb -T bookTag.vcb -C book_bookTag.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0 -model1dumpfrequency 1
#訓(xùn)練翻譯模型：from tag to word
GIZA++ -S bookTag.vcb -T book.vcb -C bookTag_book.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0 -model1dumpfrequency 1
