1 K-means 與 EM 的聯(lián)系
給定 
維空間中一個(gè)包含 
個(gè)點(diǎn)的數(shù)據(jù)集 %5ET)
, 以及期望其聚成 
簇：
, 我們可以定義每個(gè)簇的中心點(diǎn)為
其中 
表示簇 
的點(diǎn)的個(gè)數(shù)拷沸。這樣昭抒，K-means 算法的目標(biāo)函數(shù) (平方差和) 為：
%20%3D%20%5Cdisplaystyle%20%5Csum_%7Bi%3D1%7D%5Ek%20%5Csum_%7Bx_j%20%5Cin%20C_i%7D%20%7C%7Cx_j%20-%20%5Cmu_i%7C%7C%5E2)
1.1 EM 算法的基本原理和步驟
假設(shè)每一個(gè)簇 都由一個(gè)多元正態(tài)分布刻畫锈遥，即
%20%3D%20f(x%7CC_i%3B%5Cmu_i%2C%5CSigma_i)%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%7B%5Cfrac%7Bn%7D%7B2%7D%7D%7C%5CSigma_i%7C%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D%7D%20%5Cexp%5C%7B-%20%5Cfrac%7B(x-%5Cmu_i)%5ET%5CSigma_i%5E%7B-1%7D(x-%5Cmu_i)%7D%7B2%7D%5C%7D)
其中箱锐，簇均值 
及協(xié)方差矩陣 
均是未知參數(shù)褂乍。)
是 
屬性屬于簇 的概率密度环壤。令 
表示對(duì)應(yīng) 
的第 
維度的隨機(jī)變量思币，記 %5ET)
代表對(duì)應(yīng)于 
個(gè)維度的隨機(jī)向量一死。假設(shè) 
的概率密度函數(shù)是在所有 個(gè)簇之上的高斯混合模型肛度，定義為
%20%3D%20%5Cdisplaystyle%20%5Csum_%7Bi%3D1%7D%5Ek%20f_i(x)P(C_i)%20%3D%20%5Csum_%7Bi%3D1%7D%5Ek%20f_i(x%7CC_i%3B%5Cmu_i%2C%5CSigma_i)P(C_i))
其中先驗(yàn)概率 )
, 滿足
%20%3D%201)
我們將簇 的參數(shù)簡(jiǎn)記作
%5C%7D)
則 
的似然為
%20%3D%20%5Cprod_%7Bj%3D1%7D%5Em%20f(x_j))
則 MLE (極大似然估計(jì)) 為
))
由貝葉斯公式可知
%20%3D%20%5Cfrac%7BP(x_j%7CC_i)P(C_i)%7D%7B%5Csum_%7Bt%7D%5EkP(x_j%7C%20C_t)P(C_t)%7D)
由于每個(gè)簇都建模為一個(gè)多元正態(tài)分布，故而
%20%5Capprox%202%5Cepsilon%20%5Ccdot%20f_i(x_j))
因而投慈，)
可以看作是點(diǎn) 
在簇 中的權(quán)值或貢獻(xiàn)承耿。
- 初始化：
, 對(duì)于每一個(gè)簇 , 均值 
使用均勻分布隨機(jī)地初始化 且 
, %20%5Cleftarrow%20%5Cfrac%7B1%7D%7Bk%7D)
.
- E 步：計(jì)算
)
, 且記 %5ET)
表示簇 在所有 個(gè)點(diǎn)上的權(quán)向量冠骄。
- M 步：重新估計(jì)
)
, 即
(x_j%20-%20%5Cmu_i)%5ET%7D%7Bw_i%5ET%5Cmathbf%7B1%7D%7D%5C%5C%20%26P%5Et(C_i)%20%5Cleftarrow%20%5Cfrac%7Bw_i%5ET%5Cmathbf%7B1%7D%7D%7Bm%7D%20%5Cend%7Baligned%7D)
- 不斷地依次重復(fù)操作
步和 
步，直到
.
其他
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
