九、馬爾可夫
Markov Model(馬爾可夫模型)
在概率論中燕侠，馬爾可夫模型是一種用于對隨機變化的系統(tǒng)建模的隨機模型者祖。
一種假定猜想：假設(shè)未來的狀態(tài)只依賴于當(dāng)前狀態(tài)，而不依賴于之前發(fā)生的事件(也就是說贬循，它假設(shè)了Markov屬性)咸包。
通常，這個假設(shè)支持使用模型進行推理和計算杖虾，否則這將是棘手的烂瘫。因此，在預(yù)測模型和概率預(yù)測領(lǐng)域奇适，
一個給定的模型最好能表現(xiàn)出馬爾可夫性質(zhì)坟比。
在不同的情況下，有四種常見的馬爾可夫模型嚷往，這取決于是否每個序列狀態(tài)都是可觀測的葛账，及系統(tǒng)將根據(jù)下列意見作出調(diào)整:
馬爾可夫鏈：
最簡單的馬爾可夫模型是馬爾可夫鏈。它用隨時間變化的隨機變量來模擬系統(tǒng)的狀態(tài)皮仁。在這個上下文中籍琳，Markov屬性表明這
個變量的分布只依賴于以前狀態(tài)的分布。
隱馬爾可夫模型
隱馬爾可夫模型是一種狀態(tài)只能部分觀察到的馬爾可夫鏈贷祈。換句話說趋急，觀測與系統(tǒng)的狀態(tài)相關(guān)，但通常不足以精確地確定狀態(tài)势誊。
馬爾可夫決策過程
馬爾可夫決策過程是一個狀態(tài)轉(zhuǎn)換依賴于當(dāng)前狀態(tài)的馬爾可夫鏈和應(yīng)用于系統(tǒng)的動作向量呜达。通常，馬爾可夫決策過程用于計算
一個行動策略粟耻，該策略將最大化與預(yù)期回報相關(guān)的一些效用查近。它與強化學(xué)習(xí)密切相關(guān)眉踱，可以通過值迭代和相關(guān)方法求解。
部分可見馬爾可夫決策過程
部分可觀測馬爾可夫決策過程(POMDP)是一種只部分觀察系統(tǒng)狀態(tài)的馬爾可夫決策過程霜威。POMDPs被認(rèn)為是NP完全的谈喳，但是
最近的近似技術(shù)已經(jīng)使它們在許多應(yīng)用中變得有用，例如控制簡單的代理或機器人侥祭。
馬爾可夫隨機場或馬爾可夫網(wǎng)絡(luò)可以被認(rèn)為是多維馬爾可夫鏈的推廣叁执。在馬爾可夫鏈中，狀態(tài)只依賴于時間上的前一個狀態(tài)矮冬，而在馬爾可夫隨機場中谈宛，每個狀態(tài)在多個方向上依賴于它的鄰居。馬氏隨機場可以看成是隨機變量的場或圖胎署，其中每個隨機變量的分布取決于與之相連的相鄰變量吆录。更具體地說，圖中任意隨機變量的聯(lián)合分布可以計算為包含該隨機變量的圖中所有派系的“派系勢”的乘積琼牧。將問題建模為馬爾可夫隨機場是有用的恢筝，因為它意味著圖中每個頂點的聯(lián)合分布可以用這種方式計算。
的位置巨坊，可以被解釋為確定更復(fù)雜的信息撬槽，比如這個人在執(zhí)行什么任務(wù)或活動。層次馬爾可夫模型分為層次隱馬爾可夫模型和抽象隱馬爾可夫模型都被用于行為識別趾撵。模型中不同抽象層次之間的[5]和某些條件獨立屬性允許更快的學(xué)習(xí)和推理侄柔。
容錯馬爾可夫模型(TMM)是一種概率算法的馬爾可夫鏈模型。它根據(jù)一個條件上下文分配概率占调，該上下文認(rèn)為要發(fā)生的序列中的最后一個符號是最可能的暂题，而不是真正發(fā)生的符號。TMM可以模擬三種不同的性質(zhì):替換究珊、添加或刪除薪者。成功的應(yīng)用已經(jīng)在DNA序列壓縮中得到了有效的實現(xiàn)。
