語(yǔ)言模型：用于判斷一句話是否語(yǔ)法通順
給已經(jīng)訓(xùn)練好的語(yǔ)言模型可以對(duì)任何一個(gè)文本給出概率沉桌，概率越高說(shuō)明語(yǔ)法上越通順
鏈?zhǔn)礁怕?P(今天是周日) = P(今天)P(是|今天)P(周日|今天渗常，是)
語(yǔ)言模型會(huì)算好 P(今天)尸执、P(是|今天)、P(周日|今天缓醋，是) 每一項(xiàng)的概率值是多少
問(wèn)題：當(dāng)句子非常長(zhǎng)的時(shí)候如失，語(yǔ)料庫(kù)很少有相同的句子，很容易出現(xiàn)P=0的情況
馬爾可夫假設(shè)：當(dāng)前中心詞只考慮前面N個(gè)單詞的條件概率
馬爾科夫假設(shè)(1階送粱、2階褪贵、3階。抗俄。脆丁。對(duì)應(yīng) N = 1、2动雹、3)
image.png
一階馬爾可夫假設(shè)：Bigram
第一個(gè) P（w1）= 詞頻 / 語(yǔ)料單詞數(shù)
image.png
【總結(jié)】
語(yǔ)言模型的概率值可基于語(yǔ)料庫(kù)來(lái)統(tǒng)計(jì)
根據(jù)使用的馬爾科夫假設(shè)的不同槽卫，可以把語(yǔ)言模型分為unigram， bigram胰蝠， trigram歼培， ngram。茸塞。躲庄。
當(dāng)考慮多個(gè)單詞的時(shí)候，條件概率往往變得稀疏钾虐，導(dǎo)致大部分都變成0噪窘。
【評(píng)估】困惑度，階數(shù)越大效扫，模型越復(fù)雜效览，困惑度越小，越準(zhǔn)確也越過(guò)擬合
image.png
