概率圖模型(2)——馬爾科夫隨機(jī)場

概念導(dǎo)圖

1. MarKov隨機(jī)場的直觀理解

干貨|如何輕松愉快的理解條件隨機(jī)場（CRF）缆蝉？

2. 一些基本概念

2.1 無向圖

無向圖

在無向圖中宇葱，A、B刊头、C黍瞧、D為頂點(diǎn)，各頂點(diǎn)之間的連接線稱為邊原杂。

2.2 概率圖：

用圖表達(dá)概率分布的方式印颤。圖中的每個節(jié)點(diǎn)表示一個隨機(jī)變量，與之相連的邊則表示了各隨機(jī)變量之間的概率依賴關(guān)系穿肄。所以年局，圖表示聯(lián)合概率分布。以上圖為例咸产，設(shè)有聯(lián)合概率分布 $P(Y)$ 矢否， $Y$ 是一組隨機(jī)變量，那么在圖中脑溢，節(jié)點(diǎn)A表示一個隨機(jī)變量 $Y_A$ 僵朗，節(jié)點(diǎn)A與節(jié)點(diǎn)B的邊表示隨機(jī)變量A與隨機(jī)變量B之間的依賴關(guān)系。

無向圖表示MarKov的三個性質(zhì)：
- 成對馬爾科夫性
  
  成對馬爾科夫示意圖
  
  節(jié)點(diǎn)u屑彻、v互不相連验庙，其他所有節(jié)點(diǎn)記為O，其所對應(yīng)的隨機(jī)變量為 $Y_u, Y_v$ 和 $Y_O$ 酱酬。此時：在給定隨機(jī)變量組 $Y_O$ 的情況下壶谒， $Y_u, Y_v$ 條件獨(dú)立，即有
  $P(Y_u, Y_v|Y_O)=P(Y_u|Y_O) P(Y_v|Y_O)$
- 局部馬爾可夫性
  
  局部馬爾科夫示意圖
  
  在圖中任意取一個結(jié)點(diǎn)膳沽，將與之有邊相連的結(jié)點(diǎn)均記為W，O是除v、W之外的所有點(diǎn)挑社，v表示隨機(jī)變量 $Y_v$ 陨界，W表示隨機(jī)變量組為 $Y_W$ ，O表示隨機(jī)變量組 $Y_O$ 痛阻，則：在給定隨機(jī)變量組 $Y_W$ 的情況下菌瘪， $Y_v, Y_O$ 條件獨(dú)立，即有
  $\begin{align} P(Y_v, Y_O|Y_W)&=P(Y_v|Y_W) P(Y_O|Y_W)\\\\ \Rightarrow \frac{P(Y_v, Y_O, Y_W)}{P(Y_W)}&=P(Y_v|Y_W) \frac{P(Y_O, Y_W)}{P(Y_W)}\\\\ \Rightarrow \frac{P(Y_v, Y_O, Y_W)}{P(Y_O, Y_W)}&=P(Y_v|Y_W)\\\\ \Rightarrow P(Y_v| Y_O, Y_W)&=P(Y_v|Y_W) \end{align}$
- 全局馬爾科夫性
  
  全局馬爾科夫示意圖
  
  在圖中設(shè)有集合A,B是被集合C分開的任意結(jié)點(diǎn)集合阱当，其所對應(yīng)的隨機(jī)變量組分別為 $Y_A.Y_B,Y_C$ 俏扩，則在此條件下，認(rèn)定隨機(jī)變量組 $Y_C$ 條件下弊添，隨機(jī)變量組 $Y_A.Y_B$ 是條件獨(dú)立的录淡。
  $P(Y_A, Y_B|Y_C)=P(Y_A|Y_C) P(Y_B|Y_C)$

2.3 概率圖模型：

如果聯(lián)合概率分布 $Y$ 滿足成對、局部或全局馬爾可夫性油坝，則該聯(lián)合概率分布為概率無向圖模型（馬爾科夫隨機(jī)場）嫉戚。

概率圖模型中的團(tuán)和最大團(tuán)：

一條小團(tuán)團(tuán)

在無向圖中任何兩個結(jié)點(diǎn)均有邊連接的結(jié)點(diǎn)子集稱為團(tuán)，例如澈圈，在下圖中彬檀，假設(shè)有隨機(jī)變量，則構(gòu)成了一個團(tuán)瞬女，未構(gòu)成團(tuán)窍帝。

此時，再往團(tuán)中加入任意一個結(jié)點(diǎn)诽偷，若集合不滿足成團(tuán)的條件盯桦，則稱加入結(jié)點(diǎn)之前的團(tuán)為最大團(tuán)。如渤刃，往集合 $\left \{Y_1,Y_2 \right \}$ 中加入 $Y_2$ 拥峦，依然滿足成團(tuán)的條件，繼續(xù)加入結(jié)點(diǎn) $Y_4$ 卖子，由于 $Y_1$ 不與 $Y_4$ 相連略号，故而 $\left \{Y_1,Y_2, Y_3 \right \}$ 為最大團(tuán)。

無向圖的團(tuán)和最大團(tuán)

概率圖模型中因式分解

談這個問題之前洋闽，先看一看貝葉斯模型和概率圖模型的區(qū)別：

兩個貝葉斯模型

貝葉斯網(wǎng)絡(luò)1

貝葉斯網(wǎng)絡(luò)1的聯(lián)合概率 $P(R, C, W, S)=P(R)P(C)P(W|C,R)P(S|W)$
貝葉斯網(wǎng)絡(luò)2

貝葉斯網(wǎng)絡(luò)2是一個無效的網(wǎng)絡(luò)玄柠，因?yàn)榘凑展接?br> $P(A,B,C)=P(B|A)P(C|B)P(A|C) =P(B,C|A)P(A|C)=P(ABC|C)$

概率圖模型：
但是在概率圖模型中就不一樣了

概率圖模型

有人找了一個函數(shù)，能夠使得诫舅，概率圖中的最大團(tuán)們有：
$P(A,B,C,D,E)\propto \Psi(A,B)\Psi(B,C)\Psi(B,D)\Psi(C,E)\Psi(D,E)$

概率圖模型中因式分解：將概率圖中的聯(lián)合概率分布表示為其最大團(tuán)上的隨機(jī)變量函數(shù)成績的形式羽利。
$\begin{align} P(Y)=&\frac{1}{Z} \prod_{C}\Psi _C(Y_C) \tag{2.1}\\ Z=&\sum_{Y}\prod_{C}\Psi _C(Y_C) \tag{2.2} \end{align}$
其中，C是無向圖的最大團(tuán)刊懈， $Y_C$ 是C的結(jié)點(diǎn)對應(yīng)的隨機(jī)變量这弧， $\Psi _C(Y_C)$ 是勢函數(shù)娃闲，是C上定義的嚴(yán)格正函數(shù)，乘積是在無向圖所有的最大團(tuán)上進(jìn)行的匾浪。

概率圖模型與貝葉斯網(wǎng)絡(luò)的區(qū)別

鏈狀模型
注意皇帮，在概率圖模型中， $\Psi (A,B)$ 與 $\Psi (B,C)$ 不一定只有圖中的對應(yīng)關(guān)系蛋辈。

鏈狀模型
共享一個父結(jié)點(diǎn)

共同祖先
共享一個孩子結(jié)點(diǎn)
貝葉斯網(wǎng)絡(luò)：

貝葉斯網(wǎng)絡(luò)

概率圖模型

根據(jù)成對馬爾科夫性的定義属拾，該圖中A、B是相互獨(dú)立的冷溶，因此圖中右側(cè)所列等式在該情況下并不成立渐白。此時計(jì)算聯(lián)合概率，需要改成下圖的形式：

image.png

2.4 小結(jié)

Markov隨機(jī)場中各團(tuán)之間的關(guān)系都是獨(dú)立的逞频。
貝葉斯網(wǎng)絡(luò)不等同于Markov隨機(jī)場

3. Hammersley-Clifford定理

Hammersley-Clifford定理揭示了為什么概率無向圖的聯(lián)合概率分布 $P(Y)$ 可以表示為公式 $(2.1)$ 和 $(2.2)$ .
具體證明過程在這里纯衍。

參考文獻(xiàn)

干貨|如何輕松愉快的理解條件隨機(jī)場（CRF）？
Introduction to Conditional Random Fields
Proof of Hammersley Theorem

最后編輯于：2019.08.28 10:24:28

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末虏劲，一起剝皮案震驚了整個濱河市托酸，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌柒巫，老刑警劉巖励堡，帶你破解...
沈念sama閱讀 216,470評論 6贊 501
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異堡掏，居然都是意外死亡应结，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,393評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門泉唁，熙熙樓的掌柜王于貴愁眉苦臉地迎上來鹅龄，“玉大人，你說我怎么就攤上這事亭畜“缧荩” “怎么了？”我有些...
開封第一講書人閱讀 162,577評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵拴鸵，是天一觀的道長玷坠。經(jīng)常有香客問我，道長劲藐，這世上最難降的妖魔是什么八堡？我笑而不...
開封第一講書人閱讀 58,176評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮聘芜，結(jié)果婚禮上兄渺，老公的妹妹穿的比我還像新娘。我一直安慰自己汰现，他們只是感情好挂谍，可當(dāng)我...
茶點(diǎn)故事閱讀 67,189評論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布叔壤。她就那樣靜靜地躺著，像睡著了一般凳兵。火紅的嫁衣襯著肌膚如雪百新。梳的紋絲不亂的頭發(fā)上企软，一...
開封第一講書人閱讀 51,155評論 1贊 299
城市分裂傳說
那天庐扫，我揣著相機(jī)與錄音，去河邊找鬼仗哨。笑死形庭，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的厌漂。我是一名探鬼主播萨醒，決...
沈念sama閱讀 40,041評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼苇倡！你這毒婦竟也來了富纸？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 38,903評論 0贊 274
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤旨椒，失蹤者是張志新（化名）和其女友劉穎晓褪，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體综慎，經(jīng)...
沈念sama閱讀 45,319評論 1贊 310
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡涣仿，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,539評論 2贊 332
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了示惊。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片好港。...
茶點(diǎn)故事閱讀 39,703評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖米罚，靈堂內(nèi)的尸體忽然破棺而出钧汹，到底是詐尸還是另有隱情，我是刑警寧澤录择，帶...
沈念sama閱讀 35,417評論 5贊 343
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布拔莱，位于F島的核電站，受9級特大地震影響糊肠，放射性物質(zhì)發(fā)生泄漏辨宠。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,013評論 3贊 325
男人毒藥：我在死后第九天來索命
文/蒙蒙一货裹、第九天我趴在偏房一處隱蔽的房頂上張望嗤形。院中可真熱鬧，春花似錦弧圆、人聲如沸赋兵。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,664評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽霹期。三九已至叶组，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間历造，已是汗流浹背甩十。一陣腳步聲響...
開封第一講書人閱讀 32,818評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留吭产，地道東北人侣监。一個月前我還...
沈念sama閱讀 47,711評論 2贊 368
代替公主和親
正文我出身青樓，卻偏偏與公主長得像臣淤，于是被迫代替她去往敵國和親橄霉。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,601評論 2贊 353

概率圖模型(2)——馬爾科夫隨機(jī)場

1. MarKov隨機(jī)場的直觀理解

2. 一些基本概念

2.1 無向圖

2.2 概率圖：

無向圖表示MarKov的三個性質(zhì)：

2.3 概率圖模型：

概率圖模型中的團(tuán)和最大團(tuán)：

概率圖模型中因式分解

概率圖模型與貝葉斯網(wǎng)絡(luò)的區(qū)別

2.4 小結(jié)

3. Hammersley-Clifford定理

參考文獻(xiàn)

推薦閱讀更多精彩內(nèi)容