隱含馬爾科夫模型
通信的本質就是編解碼和傳輸?shù)倪^程
觀測信號：
發(fā)送源的信息：
已知的情況下，求得令條件概率)
達到最大值得那個信息串余佛，即（解碼）
)
通過貝葉斯公式柠新，上述公式等價變換為
%5Ccdot%20P(s_1%2Cs_2%2C...)%7D%7BP(o_1%2Co_2%2C...)%7D)
)
發(fā)送端產(chǎn)生信息
的可能性（比如說話的人），可忽略的常數(shù)
)
表示
在接收端是合符情理的信號
)
表示信息在傳輸后變成接收的信號的可能性
%5Ccdot%20P(s_1%2Cs_2%2C...))
可以用Hidden Markov Model來估計
只與它的前一個狀態(tài)有關辉巡，即%3DP(s_t%7Cs_%7Bt-1%7D))
的隨機過程恨憎，稱為馬爾科夫過程，也稱為馬爾科夫鏈
圖中表示%3D0.6)
郊楣，%3D0.4)
隱含馬爾科夫模型是馬爾科夫鏈的一個擴展：任一時刻t的狀態(tài)
是不可見的憔恳，但輸出
跟相關而且僅跟相關，即獨立輸出假設
基于馬爾科夫假設和獨立輸出假設净蚤，某個特定的狀態(tài)序列產(chǎn)出輸出符號的概率：
%3D%5Cprod_%7Bt%7DP(s_t%7Cs_%7Bt-1%7D)%5Ccdot%20P(o_t%7Cs_t))
由%3D%5Cprod_%7Bt%7DP(o_t%7Cs_t))
和%3D%5Cprod_%7Bt%7DP(s_t%7Cs_%7Bt-1%7D))
可以得到上式钥组，說明了通信的解碼問題可以用隱含馬爾科夫模型來解決。同時今瀑，找出上式的最大值進而找出要識別的句子程梦，可以用維特比算法（Viterbi Algorithm）
是語言模型
在語音識別叫“聲學模型”点把，在機器翻譯叫“翻譯模型”
)
表示從前一個狀態(tài)
進入當前狀態(tài)的概率，稱為轉移概率
)
表示每個狀態(tài)產(chǎn)生相應輸出符號的概率作烟，稱為生成概率
訓練隱含馬爾科夫模型的過程愉粤，即估算轉移概率和生成概率（稱為模型參數(shù)），直接估算上述參數(shù)需要大量的人工標注數(shù)據(jù)拿撩，成本非常高衣厘。
更實用的方式是僅僅通過大量觀測到的信號就能推算出模型參數(shù)的和，即無監(jiān)督學習的訓練方法压恒，主要使用的鮑姆-韋爾奇算法影暴。
鮑姆-韋爾奇算法的思想：
1、首先找到一組能夠產(chǎn)出輸出序列的模型參數(shù)（比如轉移概率P和輸出概率Q為均勻分布時探赫，是可以產(chǎn)出任意輸出序列的）型宙，記為
2、根據(jù)這個模型伦吠，計算出某個特定的輸出序列的概率)
妆兑；以及最有可能產(chǎn)出這個輸出的狀態(tài)序列)
，獲得產(chǎn)生
的所有可能路徑以及這些路徑的概率毛仪，和每個狀態(tài)經(jīng)歷了多少次搁嗓，到達了哪些狀態(tài)，輸出了哪些符號（看作標注的訓練數(shù)據(jù)）箱靴，再根據(jù)：
%3D%5Cfrac%7BP(s_t%2Cs_%7Bt-1%7D)%7D%7BP(s_%7Bt-1%7D)%7D)
和%3D%5Cfrac%7BP(o_t%2C%20s_t)%7D%7BP(s_t)%7D)
計算出新的模型參數(shù)
腺逛，即得到
，可以證明%20%3E%20P(O%7CM_%7B%5Ctheta_0%7D))
3衡怀、重復2直至沒有找到更好的模型
上述過程也就是EM過程（Expectation-Maximization)
總結
通信模型可以用隱含馬爾科夫模型來解決棍矛，自然語言處理、語音識別跟通信原理相通抛杨，當然也可以用它
解碼算法：維特比算法
訓練算法：鮑姆-韋爾奇算法
