概率圖模型
概率圖模型（Probabilistic Graphic Model）派任，能夠很好地挖掘潛在的內(nèi)容暂氯。
概率圖中地節(jié)點(diǎn)分為隱含節(jié)點(diǎn)和觀測(cè)節(jié)點(diǎn)秸侣，邊分為有向邊和無(wú)向邊。從概率論的角度罢绽，節(jié)點(diǎn)對(duì)應(yīng)于隨機(jī)變量偎漫，邊對(duì)應(yīng)于隨機(jī)變量的依賴或相關(guān)關(guān)系，其中有向邊表示單向的依賴有缆，無(wú)向邊表示互相依賴象踊。
概率圖模型分為貝葉斯網(wǎng)絡(luò)（Bayesian Network）和馬爾可夫網(wǎng)絡(luò)（Markov Network）兩大類。貝葉斯用有向圖結(jié)構(gòu)表示棚壁，馬爾可夫網(wǎng)絡(luò)用無(wú)向圖的網(wǎng)絡(luò)結(jié)構(gòu)表示杯矩。
概率圖模型包含樸素貝葉斯模型、最大熵模型袖外、隱馬爾可夫模型史隆、條件隨機(jī)場(chǎng)、主題模型等等曼验。
貝葉斯聯(lián)合概率分布
左邊為貝葉斯網(wǎng)絡(luò)泌射，右邊為馬爾可夫網(wǎng)絡(luò)
由圖可見(jiàn)，在給定A的條件下鬓照，B和C是條件獨(dú)立的熔酷，基于條件條件概率的定義可得
同理，在給定B和C的條件下豺裆，A和D是條件獨(dú)立的拒秘，可得
上面兩個(gè)式子可聯(lián)合概率
馬爾可夫聯(lián)合概率分布
在馬爾可夫網(wǎng)絡(luò)中，聯(lián)合概率分布的定義如下：
其中C為圖中最大團(tuán)所構(gòu)成的集合臭猜，為歸一化因子躺酒，用來(lái)保證P(x)是被正確定義的概率，
是與團(tuán)Q對(duì)應(yīng)的勢(shì)函數(shù)蔑歌，勢(shì)函數(shù)非負(fù)羹应，并且應(yīng)該在概率較大的變量上取得較大的值，例如指數(shù)函數(shù)
其中
對(duì)于圖中所有節(jié)點(diǎn)所構(gòu)成的一個(gè)子集次屠，如果這個(gè)子集中园匹，任意兩點(diǎn)之間都存在邊相連，則這個(gè)自己的所有節(jié)點(diǎn)構(gòu)成一個(gè)團(tuán)帅矗。如果在這個(gè)子集中加入其他任意節(jié)點(diǎn)偎肃，都不能構(gòu)成團(tuán)煞烫，我們稱這樣的子集構(gòu)成一個(gè)最大團(tuán)浑此。左邊為貝葉斯網(wǎng)絡(luò)，右邊為馬爾可夫網(wǎng)絡(luò)
顯然這里只有(A,B)滞详、(A,C)凛俱、(B,D)紊馏、(C,D)構(gòu)成團(tuán)，且是最大團(tuán)蒲犬。聯(lián)合概率密度可以表示為
如果使用上面的指數(shù)函數(shù)作為勢(shì)函數(shù)朱监，則有
得
