本章我們開始學(xué)習(xí)概率圖模型徽缚，這里先做個簡單的開篇菱父。
概率圖模型所涉及到的知識點非常廣挣饥，所以對讀者的基礎(chǔ)知識要求也相對較高蓖捶。通過學(xué)習(xí)概率圖模型可以進一步鞏固機器學(xué)習(xí)的相關(guān)知識儲備地回。
現(xiàn)在借助以下幾個問題開始概率圖模型的學(xué)習(xí)：
為什么需要概率圖模型及其優(yōu)點？
概率圖模型都有哪些應(yīng)用模型俊鱼？
為什么需要概率圖模型?
對于復(fù)雜系統(tǒng)理解和拆分刻像，圖應(yīng)當(dāng)是首選的分析利器。概率圖模型就是一類用圖形模式表達基于概率相關(guān)關(guān)系的模型的總稱亭引。概率圖模型結(jié)合概率論與圖論的知識绎速，利用圖來表示與模型有關(guān)的變量的聯(lián)合概率分布。
也就是說焙蚓，概率圖模型是用圖來表示實體之間的關(guān)聯(lián)和約束纹冤，具體到機器學(xué)習(xí)領(lǐng)域就是特征和類別洒宝、特征和特征之間以及類別和類別之間的關(guān)聯(lián)和約束。
圖的表達能力非常強萌京，僅僅用點和線就可以表達實體之間復(fù)雜的關(guān)系雁歌。如果給關(guān)聯(lián)實體的邊再加附加上概率，就近一步表達了實體之間關(guān)系的強弱和推理邏輯知残。
概率圖模型具體可以給我們帶來什么呢靠瞎？這里可以簡單概括一下：
分類任務(wù)中，借助概率圖建立實體之間緊湊的依賴關(guān)系求妹，可以減小類后驗概率計算所需的參數(shù)估計工作量乏盐。
概率圖模型可以很容易與專家和領(lǐng)域知識結(jié)合，比如做一些實體之間的獨立性假設(shè)制恍，簡化系統(tǒng)實體之間的依賴關(guān)系父能。
網(wǎng)絡(luò)結(jié)構(gòu)
概率圖模型如圖主要分為兩種，即貝葉斯網(wǎng)絡(luò)和馬爾可夫網(wǎng)絡(luò)净神。
貝葉斯概率圖模型是有向圖何吝，因此可以解決有明確單向依賴的建模問題，而二馬爾可夫概率圖模型是無向圖鹃唯，可以適用于實體之間相互依賴的建模問題爱榕。這兩種模型以及兩著的混合模型應(yīng)用都非常廣泛。
概率圖模型可以很清晰的表達實體之間的依賴以及導(dǎo)出聯(lián)合概率以及條件概率的計算公式坡慌。
-
貝葉斯概率圖依賴分析及聯(lián)合概率因子分解黔酥。
(B⊥C|A) (D｜B,C) P(A,B,C) = P(A)P(B｜A)P(C｜A)P(D｜B,C) -
馬爾可夫概率圖依賴分析及聯(lián)合概率因子分解。
(B⊥C｜A,D) (A⊥D｜B,C) P(A,B,C) = φ1(A,B)φ2(B,C)φ3(C,D)φ4(A,D)/Z (Z為歸一化因子八匠，φ一般為指數(shù)函數(shù))
可以看出絮爷，有向圖的聯(lián)合概率可以寫成各條件概率的乘積，而無向圖的聯(lián)合概率可以寫成最大團隨機變量函數(shù)的乘積梨树。注意，圖的最大團其實就是圖的各個最大連通子圖岖寞。
概率圖模型的實體關(guān)系建穆账模可以簡化或省略一些條件概率的計算，比如不用計算P(D｜A,B,C)仗谆，轉(zhuǎn)而計算P(D｜B,C)的值指巡。
表示、推理及學(xué)習(xí)
現(xiàn)在從表示隶垮、推理和學(xué)習(xí)的角度藻雪，來進一步說明概率圖模型的優(yōu)點和作用。
從表示的角度看狸吞，概率圖模型可以很好表示實體之間關(guān)系勉耀，而且可以很容易導(dǎo)出相應(yīng)的概率公式指煎。同時，這種表示方法可以很容易被領(lǐng)域內(nèi)外的人所理解便斥。
從推理的角度看至壤，當(dāng)我們得到相關(guān)的信息和觀測數(shù)據(jù)，我們可以很容易利用概率圖導(dǎo)出的計算公式進行推理枢纠，給出判別結(jié)果像街。
從學(xué)習(xí)的角度看，可以利用專家經(jīng)驗和語料數(shù)據(jù)晋渺，對概率圖模型的相關(guān)參數(shù)進行估計镰绎，效率更高而不需要估計冗余的參數(shù)。
概率圖模型都有哪些應(yīng)用模型木西？
貝葉斯和馬爾可夫網(wǎng)絡(luò)是兩種基本的概率圖模型跟狱，結(jié)合兩者又可以產(chǎn)生一些混合模型。那么實際應(yīng)用中户魏，有哪些模型屬于概率圖模型呢驶臊？
下面我們看看這些模型各自的概率圖模型是怎樣刻畫的并分析各自所表達的含義。
對于樸素貝葉斯模型來說叼丑，特定的類別樣本在不同的特征屬性上具備不同的數(shù)據(jù)表征关翎，而且特征之間有著獨立性假設(shè)，即特征之間是無關(guān)聯(lián)的鸠信。
對于隱馬爾可夫模型來說纵寝，隱狀態(tài)之間滿足馬爾可夫性假設(shè)，即當(dāng)前狀態(tài)只和前一狀態(tài)有關(guān)星立，而與歷史狀態(tài)和后續(xù)狀態(tài)無關(guān)爽茴；另外，還假設(shè)特征之間也是相互獨立的绰垂，且特征只由當(dāng)前隱狀態(tài)產(chǎn)生室奏。
對于最大熵馬爾可夫模型來說，與隱馬爾可夫模型相比劲装，每個隱狀態(tài)只依賴前一狀態(tài)和當(dāng)前觀測胧沫，而且每組這樣三者的組合都是獨立的，且采用最大熵模型建模占业。
對于條件隨機場模型來說绒怨，當(dāng)前狀態(tài)依賴于上下文狀態(tài)和上下文觀測，所以沒有過多的獨立性假設(shè)谦疾，可以自由搭配特征以及標注南蹂。
總結(jié)
在概率圖模型知識框架中，涉及的相關(guān)知識點非常多念恍。我們熟知的很多模型都可以納入到這個框架下六剥，也使得我們自己積累的知識得以匯總并在此基礎(chǔ)之上進一步爬坡晚顷。
學(xué)習(xí)概率圖模型時，我們可以了解到每一種模型的特點是什么仗考、之間對比有哪些音同，以及每一種模型各自涵蓋的知識點。
比如：
樸素貝葉斯模型中的特征條件獨立性假設(shè)和貝葉斯定理秃嗜；
最大熵中熵建模知識权均、IIS迭代尺度優(yōu)化算法以及分布相似性度量方法；
隱馬爾可夫模型中的前向后向算法锅锨、viterbi解碼叽赊、以及EM參數(shù)估計；
條件隨機場模型中條件隨機場定義必搞、學(xué)習(xí)和預(yù)測的動態(tài)規(guī)劃算法必指。
當(dāng)然，接下來我們也會追隨這些知識點繼續(xù)學(xué)習(xí)這些模型恕洲。
參考資料
Probabilistic Graphical Models - Principles and Techniques Daphne Koller
