nnet3-info 可以查看訓練好的chain model 模型結(jié)構(gòu),如下:
final.mdl.head
注意點
- 兩個output哩簿,是因為有兩個目標函數(shù)施绎,一個是基于線性的,一個是基于CE的骄蝇,實際結(jié)果是兩個結(jié)果的加權(quán)值膳殷。訓練中反向傳播的時候也是用的加權(quán)值。作用是預防訓練訓偏掉了九火。 multitask learning赚窃?
- 輸入是40維fbank,lda層操作:首先做了一個擴幀到200維岔激,然后做了lda勒极,這里的lda并沒有降維,只是起到了解相關(guān)的操作虑鼎。輸出仍然是200維辱匿。
- 參數(shù)計算:
tdnn1 2001024 + 1024
tdnn2 20481024 + 1024
tdnn3 20481024 + 1024
tdnn4 20481024 + 1024
tdnn5 20481024 + 1024
output.affine component (10241024 + 1024)+ (10246508 + 6508)
output-xent.affine component (10241024 + 1024)+ (1024*6508 + 6508)
所有參數(shù)加起來正好等于最前面的24039128
Reference
http://kaldi-asr.org/doc/index.html
https://www.danielpovey.com/files/2015_interspeech_multisplice.pdf