這節(jié)介紹一下如何修改生成適合自己場景的語言模型。
Ref
Online decoding in Kaldi(Nnet2) http://kaldi-asr.org/doc/online_decoding.html
修改語言模型
首先寡痰，我們?yōu)槭裁匆薷恼Z言模型抗楔？雖然已有現(xiàn)成的Fisher_English或者Librispeech的HCLG.fst，但是他們用到的是3-gram拦坠，也就是說上下文一共是3個(gè)單詞连躏，而且文本涵蓋的范圍很廣。假如我只想在特定范圍內(nèi)進(jìn)行識別呢贞滨？比如僅僅在對某個(gè)智能音箱的指令范圍內(nèi)入热？這就需要我們用自己提供的語料庫來限定其識別的范圍以提升準(zhǔn)確度拍棕，并且如果范圍較小的話還可以提升實(shí)時(shí)性。
參考“Example for using your own language model with existing online-nnet2 models”勺良，我們只需要準(zhǔn)備一個(gè)文本文件作為語料庫即可绰播。在這里文檔提到了需要使用SRILM這個(gè)工具來生成模型，所以先來安裝它尚困。
安裝SRILM
首先請參考
SRILM的安裝與使用
官方Doc
提到了還需要安裝TCL蠢箩，來到tcl download
下載之后輸入以下命令進(jìn)行安裝
wget https://prdownloads.sourceforge.net/tcl/tcl8.6.7-src.tar.gz
tar vxzf tcl8.6.7-src.tar.gz
cd tcl8.6.7/unix
./configure
make
sudo make install
然后繼續(xù)SRILM的安裝
vim Makefile
#修改為SRILM=/home/dale/SRILM
make World
PATH=$PATH:/home/dale/SRILM/bin/i686-m64:/home2/zhangzhan/SRILM/bin
MANPATH=$MANPATH:/home/dale/SRILM/man
make test
OpenSLR
首先看看提供給我們下載的語言模型（如果想要更好的識別率可以從這些語言模型中下載，然后根據(jù)文檔中提供的命令重新訓(xùn)練出一個(gè)HCLG.fst）
http://www.openslr.org/11/
可以看到3-gram和4-gram差的還是很大的…在這里我的項(xiàng)目對實(shí)時(shí)性要求很高事甜，所以我準(zhǔn)備用2-gram谬泌。
生成ARPA語言模型
準(zhǔn)備好自己的文本為train_text.txt
PATH=$PATH:/home2/zhangzhan/SRILM/bin/i686-m64:/home2/zhangzhan/SRILM/bin
MANPATH=$MANPATH:/home2/zhangzhan/SRILM/man
#生成計(jì)數(shù)文件
ngram-count -text train_text.txt -order 2 -write xgn_count
#生成ARPA LM
ngram-count -read xgn_count -order 2 -lm xgn_lm -interpolate -kndiscount
gzip xgn_lm
好了，我們的語言模型已經(jīng)生成好了逻谦，名為xgn_lm.gz掌实，下面根據(jù)這個(gè)文件生成Kaldi所需的HCLG.fst
生成HCLG.fst
此處參考官方Doc給出的過程即可，需要注意的是下面命令中將會用到訓(xùn)練時(shí)的一些文件邦马，所以需要先跑過訓(xùn)練腳本才能修改贱鼻。
PATH=$PATH:/home2/zhangzhan/kaldi-trunk/src/lmbin/:/home2/zhangzhan/kaldi-trunk/src/fstbin:/home2/zhangzhan/kaldi-trunk/tools/openfst-1.6.5/bin/:/home2/zhangzhan/kaldi-trunk/src/bin/
dict_dir=data/local/dict # The dict directory provided by the online-nnet2 models
lm=xgn_lm.gz # ARPA format LM you just built.記得在這里修改為剛才構(gòu)建的
lang=data/lang_chain # Old lang directory provided by the online-nnet2 models
lang_own=data/lang_own # New lang directory we are going to create, which contains the new language model
~/kaldi-trunk/egs/wsj/s5/utils/format_lm.sh $lang $lm $dict_dir/lexicon.txt $lang_own
graph_own_dir=graph_own
#model_dir=nnet_a_gpu_online
model_dir=tdnn_1b_sp
~/kaldi-trunk/egs/wsj/s5/utils/mkgraph.sh $lang_own $model_dir $graph_own_dir
最后就在graph_own_dir下面生成好了經(jīng)過我們定制的HCLG.fst。
至此滋将，我們可以搭建一個(gè)屬于自己的簡單語音識別系統(tǒng)了邻悬。后續(xù)將會記錄一些補(bǔ)充內(nèi)容。
