語言模型可以用于知道前個詞的情況下，預(yù)測第
個詞的概率。
Perplexity(PPL) 用來衡量語言模型的好壞耕挨，越小越好细卧。其物理意義可以近似理解為：有了語言模型后，預(yù)測的第個詞的可能性大小筒占，比如ppl=76酒甸，可以近似理解為，知道了前
個詞赋铝，第
個詞平均情況下的可能性大小為76插勤，如果沒有語言模型，這個可能性為詞典大小
革骨，ppl具體計算公式如下:
通常得到的是log值农尖，轉(zhuǎn)換后如下
: 句子中詞的個數(shù)。ppl計算中包括</s>良哲，ppl1中計算不包括</s>盛卡，所有N要少1，ppl1比ppl要大不少
示例如下：
ppl.png
Ngram工具srilm中：
- 底數(shù)選用都是10筑凫，而不是自然對數(shù)
滑沧，句子概率計算以及ppl計算的時候都是10。同樣的巍实，語音識別中和聲學(xué)模型得分進行插值的時候需要做個轉(zhuǎn)換滓技。
- 句子得分
計算的時候，需要在前后加上<s>棚潦、<\s>令漂，p(<s>)概率為1，log值為0丸边，因為第一個詞默認都是<s>叠必。
- 語音識別得分計算中包括am cost、graph cost妹窖，其中g(shù)raph cost = lm score + dict score + hmm score纬朝。 前兩者分別是由G.fst和L.fst提供，構(gòu)圖后的HCLG.fst中就包括這兩部分骄呼，hmm score 跳轉(zhuǎn)是hmm state跳轉(zhuǎn)部分共苛，也就是Ha.fst部分。
