第5章 隱含馬爾可夫模型

以下內容學習来累、摘錄自《數學之美》

隱含馬爾可夫模型是一個并不復雜的數學模型领虹,到目前為止赐写,它一直被認為是解決大多數自然語言處理問題最為快速、有效的方法乘粒。它成功地解決了復雜的語音識別豌注、機器翻譯等問題。

雖然書中說這個并不復雜灯萍,但說實話轧铁,書中詳細的數學公式還是挺燒腦的:)

隱含馬爾可夫模型( Hidden Markov Model)其實并不是19世紀俄羅斯數學家馬爾可夫( Andrey Markov)發(fā)明的,而是美國數學家鮑姆( LeonardE.Baum)等人在20世紀六七十年代發(fā)表的一系列論文中提出的旦棉,隱含馬爾可夫模型的訓練方法(鮑姆-韋爾奇算法)也是以他的名字命名的齿风。

要介紹隱含馬爾可夫模型,還是要從馬爾可夫鏈說起绑洛。到了19世紀救斑,概率論的發(fā)展從對(相對靜態(tài)的)隨機變量的研究發(fā)展到對隨機變量的時間序列S1,S2真屯,S3脸候,…,St,…运沦,即隨機過程(動態(tài)的)的研究泵额。在哲學的意義上,這是人類認識的一個飛躍携添。但是梯刚,隨機過程要比隨機變量復雜得多。

馬爾可夫為了簡化問題薪寓,提出了一種簡化的假設亡资,即隨機過程中各個狀態(tài)St的概率分布,只與它的前一個狀態(tài)St-1有關向叉,即P(S l S1锥腻,S2,S3母谎,…瘦黑,St-1)=P(St | St-1)。比如奇唤,對于天氣預報幸斥,硬性假定今天的氣溫只跟昨天有關而與前天無關。當然這種假設未必適合所有的應用咬扇,但是至少對以前很多不好解決的問題給出了近似解甲葬。這個假設后來被命名為馬爾可夫假設。

圍繞著隱含馬爾可夫模型有三個基本問題:1.給定一個模型懈贺,如何計算某個特定的輸出序列的概率经窖;2.給定一個模型和某個特定的輸出序列,如何找到最可能產生這個輸出的狀態(tài)序列梭灿;3.給定足夠量的觀測數據画侣,如何估計隱含馬爾可夫模型的參數。

第1個問題相對簡單堡妒,對應的算法是 Forward- Backward算法配乱,;第2個問題可以用著名的維特比算法解決皮迟;第3個問題涉及到模型訓練問題搬泥,書中推薦了的是鮑姆·韋爾奇算法(Baum-Welch Algorithm)。

隱含馬爾可夫模型最初應用于通信領域万栅,繼而推廣到語音和語言處理中佑钾,成為連接自然語言處理和通信的橋梁。同時烦粒,隱含馬爾可夫模型也是機器學習的主要工具之一。和幾乎所有的機器學習的模型工具一樣,它需要一個訓練算法(鮑姆·韋爾奇算法)和使用時的解碼算法(維特比算法)扰她,掌握了這兩類算法兽掰,就基本上可以使用隱含馬爾可夫模型這個工具了。

點擊這里可以查看《數學之美》的其它學習筆記徒役。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末孽尽,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子忧勿,更是在濱河造成了極大的恐慌杉女,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鸳吸,死亡現場離奇詭異熏挎,居然都是意外死亡,警方通過查閱死者的電腦和手機晌砾,發(fā)現死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進店門坎拐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人养匈,你說我怎么就攤上這事哼勇。” “怎么了呕乎?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵积担,是天一觀的道長。 經常有香客問我猬仁,道長磅轻,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任逐虚,我火速辦了婚禮聋溜,結果婚禮上,老公的妹妹穿的比我還像新娘叭爱。我一直安慰自己撮躁,他們只是感情好,可當我...
    茶點故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布买雾。 她就那樣靜靜地躺著把曼,像睡著了一般。 火紅的嫁衣襯著肌膚如雪漓穿。 梳的紋絲不亂的頭發(fā)上嗤军,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天,我揣著相機與錄音晃危,去河邊找鬼叙赚。 笑死老客,一個胖子當著我的面吹牛,可吹牛的內容都是我干的震叮。 我是一名探鬼主播胧砰,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼苇瓣!你這毒婦竟也來了尉间?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤击罪,失蹤者是張志新(化名)和其女友劉穎哲嘲,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體媳禁,經...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡眠副,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了损话。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片侦啸。...
    茶點故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖丧枪,靈堂內的尸體忽然破棺而出光涂,到底是詐尸還是另有隱情,我是刑警寧澤拧烦,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布忘闻,位于F島的核電站,受9級特大地震影響恋博,放射性物質發(fā)生泄漏齐佳。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一债沮、第九天 我趴在偏房一處隱蔽的房頂上張望炼吴。 院中可真熱鬧,春花似錦疫衩、人聲如沸硅蹦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽童芹。三九已至,卻和暖如春鲤拿,著一層夾襖步出監(jiān)牢的瞬間假褪,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工近顷, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留生音,地道東北人宁否。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像久锥,于是被迫代替她去往敵國和親家淤。 傳聞我的和親對象是個殘疾皇子异剥,可洞房花燭夜當晚...
    茶點故事閱讀 44,871評論 2 354

推薦閱讀更多精彩內容