基于Kaldi+GStreamer搭建線上的實(shí)時(shí)語(yǔ)音識(shí)別器

安裝 gst-kaldi-nnet2-online

1.安裝并編譯kaldi

2.安裝gstreamer-1.0

sudo apt-get install gstreamer1.0-plugins-bad  gstreamer1.0-plugins-base gstreamer1.0-plugins-good  gstreamer1.0-pulseaudio  gstreamer1.0-plugins-ugly  gstreamer1.0-tools libgstreamer1.0-dev

3.安裝libjansson-dev

sudo apt-get install libjansson-dev

4.安裝并編譯gst-kaldi-nnet2-online

git clone https://github.com/alumae/gst-kaldi-nnet2-online.git
cd src
KALDI_ROOT=/path/of/kaldi make depend
KALDI_ROOT=/path/of/kaldi make

成功的話可以在src目錄中看到libgstkaldinnet2onlinedecoder.so這個(gè)文件
vim ~/.bashrc中設(shè)置export GST_PLUGIN_PATH=your gst-kaldi-nnet2-online installation directory/src
輸入

GST_PLUGIN_PATH=. gst-inspect-1.0 kaldinnet2onlinedecoder

可以看到以下信息:


5.測(cè)試

#下載訓(xùn)練好的nnet2模型
cd demo
chmod +x prepare--models.sh
./prepare--models.sh

下載完成之后捌臊。運(yùn)行./transcribe-audio.sh dr_strangelove.mp3
可以看到一句一句輸出

安裝kaldi-gstreamer-server

1.安裝依賴

sudo pip install tornado
sudo pip install ws4py==0.3.2
sudo pip install pyyaml

2.在kaldi中編譯online extensions

cd kaldi/src
make ext

3.基于onlinegmmdecodefaster的worker

這是個(gè)部署通過(guò)GMM-HMM訓(xùn)練的模型饥侵,注意,這里面提取的特征只能是mfcc礼搁,不能加上pitch

cd tools
 ./install_portaudio.sh

vim ~/.bashrc
在最后面設(shè)置LD_LIBRARY_PATH=path/kaldi/tools/portaudio:$LD_LIBRARY_PATH
sudo ldconfig

在kaldi中
cd src/gst-plugin/
KALDI_ROOT=/path/of/kaldi make depend
KALDI_ROOT=/path/of/kaldi make

然后會(huì)在src/gst-plugin中看到libgstonlinegmmdecodefaster.so

export GST_PLUGIN_PATH=pathkaldi/src/gst-plugin (可以把這個(gè)目錄寫(xiě)入~/.bashrc中)
gst-inspect-1.0 onlinegmmdecodefaster

然后會(huì)看到一些輸出信息即表示安裝成功


4.基于kaldinnet2onlinedecoder的worker

kaldi-gstreamer-server目錄結(jié)構(gòu)

下載測(cè)試的模型:

cd test/models 
./test/models/download-tedlium-nnet2.sh
cd ../../

開(kāi)啟server:

開(kāi)啟server

開(kāi)啟worker:


開(kāi)啟worker

開(kāi)啟client:


開(kāi)啟client

最后會(huì)輸出類似的結(jié)果:


識(shí)別結(jié)果
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市暮现,隨后出現(xiàn)的幾起案子罩抗,更是在濱河造成了極大的恐慌窍荧,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件殊者,死亡現(xiàn)場(chǎng)離奇詭異与境,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)猖吴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門摔刁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人海蔽,你說(shuō)我怎么就攤上這事共屈。” “怎么了准潭?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵趁俊,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我刑然,道長(zhǎng)寺擂,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任泼掠,我火速辦了婚禮怔软,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘择镇。我一直安慰自己挡逼,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布腻豌。 她就那樣靜靜地躺著家坎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪吝梅。 梳的紋絲不亂的頭發(fā)上虱疏,一...
    開(kāi)封第一講書(shū)人閱讀 52,696評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音苏携,去河邊找鬼做瞪。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的装蓬。 我是一名探鬼主播著拭,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼牍帚!你這毒婦竟也來(lái)了儡遮?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤履羞,失蹤者是張志新(化名)和其女友劉穎峦萎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體忆首,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡爱榔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了糙及。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片详幽。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖浸锨,靈堂內(nèi)的尸體忽然破棺而出唇聘,到底是詐尸還是另有隱情,我是刑警寧澤柱搜,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布迟郎,位于F島的核電站,受9級(jí)特大地震影響聪蘸,放射性物質(zhì)發(fā)生泄漏宪肖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一健爬、第九天 我趴在偏房一處隱蔽的房頂上張望控乾。 院中可真熱鬧,春花似錦娜遵、人聲如沸蜕衡。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)慨仿。三九已至,卻和暖如春纳胧,著一層夾襖步出監(jiān)牢的瞬間镰吆,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工躲雅, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留鼎姊,地道東北人骡和。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓相赁,卻偏偏與公主長(zhǎng)得像相寇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子钮科,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容