什么是語言模型呢纲爸？
簡單地說覆醇，語言模型就是用來計算一個句子的概率的模型褥琐，也就是判斷一句話是否是人話的概率锌俱？
放一篇文章 語言模型及其實現(xiàn) 建議直接看原文，講的非常清楚敌呈。
- 概率表示
給每一個句子賦予一個概率贸宏，合法的句子得到概率比較大，而不合法的句子得到的概率比較小驱富，這樣只需要從所有可能的情況中選取概率最大的那種組合锚赤，我們就能夠得到合法的句子了；
文章中講了這個概率的公式以及如何去理解這個公式褐鸥，還有這個公示的缺點引出下面的馬爾科夫假設线脚；
語言模型公式
- 馬爾科夫假設
為了解決太過復雜而難以計算的問題，我們需要引入馬爾科夫假設,馬爾科夫假設中最重要的一點就是有限視野假設；
由于基礎公式計算起來過于復雜浑侥，所以通過馬爾科夫假設來簡化公式姊舵；
當應用在我們的語言模型中時，就是指每一個詞語的概率只由其前面的n?1個詞語所決定寓落，這被稱為n元語言模型 當n=2時括丁，相應的語言模型就被稱為是二元模型；
二元模型
- 概率估計
在擁有大語料的情況下伶选，我們可以直接統(tǒng)計(wi?1,wi)這對詞在語料中的出現(xiàn)次數(shù)史飞，同時也能統(tǒng)計wi?1出現(xiàn)的次數(shù)，根據(jù)大數(shù)定理仰税，相對頻度就能近似概率;
其中#(xi?1,xi),#wi?1,#分別表示詞對(wi?1,wi)在語料中出現(xiàn)的次數(shù)构资，wi?1在語料中出現(xiàn)的次數(shù)和語料庫的大小陨簇；
求概率
- 模型訓練&零概率
概率值出現(xiàn)為0的這種情況我們稱之為不平滑吐绵，相應的需要進行平滑操作;
其中，|V|表示詞庫的大小河绽，之所以要在分母上同時加上一個λ|V|己单，是為了保證概率之和為1的條件;
加法平滑
總結
- N-gram就是文中所指的n元模型，它與語言模型是什么關系呢耙饰？個人認為是包含在語言模型中的纹笼；
- 學到了什么是語言模型，以及優(yōu)化n-gram榔幸；這是NLP最基礎的東西允乐，是必須要了解的；
- 語言模型的用途就不做仔細的研究了削咆；
