概率圖模型基礎(3)——貝葉斯網(wǎng)絡的獨立性

1. 貝葉斯網(wǎng)的基本獨立性

學生成績

在學生成績示例圖中键思，用邊表示其直接依賴關系。

根據(jù)上一節(jié)概率圖模型基礎(2)——貝葉斯網(wǎng)絡中的因果關系甫贯，在節(jié)點的獨立性方面吼鳞，可以得出什么結(jié)論呢？

局部獨立性定義

在學生成績的例子中：在給定父節(jié)點Grade的情況下叫搁，Letter與圖中其他節(jié)點都獨立赔桌。有 $P(L \perp I,D,S|G)$ 成立。

2. 圖與分布

2.1 $d-sep_G(X,Y|Z)$

2.1.1 定義

$d-sep_G(X,Y|Z)$ ：在概率圖中渴逻，在給定結(jié)點 $Z$ 的條件下疾党，結(jié)點 $X$ 和結(jié)點 $Y$ 存在有效跡（只要是結(jié)點連著的，不管方向?qū)Σ粚头Q為跡）惨奕，若結(jié)點 $X$ 和結(jié)點 $Y$ 相互獨立雪位，則可以表示為 $d-sep_G(X,Y|Z)$

示例：

image.png

若G為不觀測變量則S與D的關系可表示為：
$d-sep_G(S,D|I)$

具體如何判斷 d-分離，請參考《概率圖模型基礎(2)——貝葉斯網(wǎng)絡中的因果關系》文中第 3.2 結(jié)：貝葉斯網(wǎng)絡中各節(jié)點如何相互影響梨撞？

擴展：
與d-separate 相對應的獨立性的集合用 $I(G)$ 表示：
$I(G)=\left \{ (X \perp Y | Z): d-sep_G(X; Y | Z) \right \}$

2.1.2 尋找所有d-sep

思路：

在尋找之前雹洗，確保有：觀測變量 $Z$ 的集合；貝葉斯網(wǎng)絡圖結(jié)構卧波。
1.從下到上队伟，從葉子結(jié)點到根的遍歷圖結(jié)構，標記 $Z$ 及其后代的所有節(jié)點幽勒。

使用廣度優(yōu)先遍歷，遇到如下情況停止港令，說明不存在d-sep啥容，否則，說明存在d-sep：
a. 節(jié)點在v-結(jié)構中間顷霹，但在第一步中未被標記咪惠。
b. 節(jié)點不在v-結(jié)構中間，但是在第一步中被標記了淋淀。

代碼實現(xiàn)

留坑遥昧。

2.2 I-maps(independency map)是啥？

I-map：記貝葉斯網(wǎng)絡為 $G$ 朵纷，概率分布為 $P$ 炭臭，若 $G$ 中表現(xiàn)出的獨立性的集合是 $P$ 中表現(xiàn)出的獨立性的集合的子集。則 $G$ 是 $P$ 的一個I-map袍辞。比如

概率圖模型-原理與技術.png

對于來說鞋仍，,未連接，故而,獨立搅吁。
對于來說威创，影響落午，故而,不獨立，表現(xiàn)出的獨立性為肚豺。
對于來說溃斋，影響，故而,不獨立吸申，表現(xiàn)出的獨立性為梗劫。

對于左圖來說， $P(X,Y)=P(X)P(Y)$ 呛谜，所以 $X$ , $Y$ 獨立在跳。而 $\varnothing$ 可歸為任何分布P的I-map，所以三個圖都是P的I-map隐岛。
對于右圖來說猫妙， $P(X,Y) \neq P(X)P(Y)$ ，所以 $X$ , $Y$ 不獨立聚凹。而 $\varnothing$ 可歸為任何分布P的I-map割坠，所以只有 $G_{X\rightarrow Y},G_{Y \rightarrow X}$ 是P的I-map。

3. 參考文獻

Coursera——Probabilistic Graphical Models

最后編輯于：2019.08.29 10:52:30

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者