前言：
介紹一下EM算法的簡單應(yīng)用
算法流程
先從一個(gè)簡單的例子開始：
隨機(jī)選擇1000名用戶，測量用戶的身高；若樣本中存在男性和女性互例，身高分別 服從高斯分布N(μ1,σ1)和N(μ2,σ2)的分布欺劳，試估計(jì)參數(shù):μ1,σ1,μ2,σ2; 如果明確的知道樣本的情況(即男性和女性數(shù)據(jù)是分開的)，那么我們使用極大似然 估計(jì)來估計(jì)這個(gè)參數(shù)值展辞。 如果樣本是混合而成的奥邮，不能明確的區(qū)分開，那么就沒法直接使用極大似然估計(jì)來 進(jìn)行參數(shù)的估計(jì)啦罗珍。
算法流程如下：
GMM(Gaussian Mixture Model, 高斯混合模型)是指該算法油多個(gè)高斯模型線 性疊加混合而成洽腺。每個(gè)高斯模型稱之為component。GMM算法描述的是數(shù)據(jù)的 本身存在的一種分布覆旱。
GMM算法常用于聚類應(yīng)用中蘸朋，component的個(gè)數(shù)就可以認(rèn)為是類別的數(shù)量。
假定GMM由k個(gè)Gaussian分布線性疊加而成扣唱，那么概率密度函數(shù)如下圖所示：
概率密度函數(shù)為：
對數(shù)似然函數(shù)為：
E步驟為：
M步驟為：
然后迭代更新參數(shù)藕坯。
下面來解決剛開始提到的身高和體重的例子
1.導(dǎo)入模塊。
#導(dǎo)入我們要用的包噪沙，包括算法數(shù)據(jù)導(dǎo)入模塊炼彪，算法評估模塊，算法模塊正歼，以及畫圖模塊霹购。
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.colors
import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture
from sklearn.model_selection import train_test_split
# 解決中文顯示問題
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False
2.導(dǎo)入數(shù)據(jù)
這里的導(dǎo)入數(shù)據(jù)是直接從scikit-learn中的數(shù)據(jù)，一共三千多條新聞作為建立貝葉斯分類器的基本朋腋。
## 數(shù)據(jù)加載
data = pd.read_csv('datas/HeightWeight.csv')
print ("數(shù)據(jù)樣本數(shù)量:%d, 特征數(shù)量:%d" % data.shape)
data_x = data[data.columns[1:]]
data_y = data[data.columns[0]]
data.head()
查看數(shù)據(jù)齐疙，查看一下總的數(shù)據(jù)膜楷，結(jié)果如下：
3.將數(shù)據(jù)分為訓(xùn)練集和測試集
## 數(shù)據(jù)分割
x, x_test, y, y_test = train_test_split(data_x, data_y, train_size=0.6, random_state=0)
4.模型訓(xùn)練
## 模型創(chuàng)建及訓(xùn)練
gmm = GaussianMixture(n_components=2, covariance_type='full', random_state=28)
gmm.fit(x, y)
查看一下訓(xùn)練出來的模型：
5.理模型的相關(guān)參數(shù)的輸出
## 模型相關(guān)參數(shù)輸出
print ('均值 = \n', gmm.means_)
print ('方差 = \n', gmm.covariances_)
輸出結(jié)果如下：
6.模型評估
## 獲取推測值及計(jì)算準(zhǔn)確率
# 獲取預(yù)測值
y_hat = gmm.predict(x)
y_test_hat = gmm.predict(x_test)
# 查看一下類別是否需要更改一下
change = (gmm.means_[0][0] > gmm.means_[1][0])
if change:
z = y_hat == 0
y_hat[z] = 1
y_hat[~z] = 0
z = y_test_hat == 0
y_test_hat[z] = 1
y_test_hat[~z] = 0
# 計(jì)算準(zhǔn)確率
acc = np.mean(y_hat.ravel() == y.ravel())
acc_test = np.mean(y_test_hat.ravel() == y_test.ravel())
acc_str = u'訓(xùn)練集準(zhǔn)確率：%.2f%%' % (acc * 100)
acc_test_str = u'測試集準(zhǔn)確率：%.2f%%' % (acc_test * 100)
print (acc_str)
print (acc_test_str)
輸出的評估的結(jié)果如下：
