一：概述高斯混合模型(GMM)在圖像分割米苹、對(duì)象識(shí)別公般、視頻分析等方面均有應(yīng)用臼疫，對(duì)于任意給定的數(shù)據(jù)樣本集合择份，根據(jù)其分布概率， 可以計(jì)算每個(gè)樣本數(shù)據(jù)向量的概率分布烫堤，從而根據(jù)概率分布對(duì)其進(jìn)行分類荣赶，但是這些概率分布是混合在一起的，要從中分離出單個(gè)樣本的概率分布就實(shí)現(xiàn)了樣本數(shù)據(jù)聚類鸽斟，而概率分布描述我們可以使用高斯函數(shù)實(shí)現(xiàn)拔创，這個(gè)就是高斯混合模型-GMM。這種方法也稱為D-EM即基于距離的期望最大化富蓄。? 三：算法步驟? ? 1.初始化變量定義-指定的聚類數(shù)目K與數(shù)據(jù)維度D? ? 2.初始化均值剩燥、協(xié)方差、先驗(yàn)概率分布? ? 3.迭代E-M步驟? ? ? ? - E步計(jì)算期望? ? ? ? - M步更新均值立倍、協(xié)方差灭红、先驗(yàn)概率分布? ? ? ? -檢測(cè)是否達(dá)到停止條件（最大迭代次數(shù)與最小誤差滿足）氛改，達(dá)到則退出迭代，否則繼續(xù)E-M步驟? ? 4.打印最終分類結(jié)果四：代碼實(shí)現(xiàn)[Java] view plain copypackage com.gloomyfish.image.gmm;? ? import java.util.ArrayList;? import java.util.Arrays;? import java.util.List;? ? /**? *? * @author gloomy fish? *? */? public class GMMProcessor {? ? ? public final static double MIN_VAR = 1E-10;? ? ? public static double[] samples = new double[]{10, 9, 4, 23, 13, 16, 5, 90, 100, 80, 55, 67, 8, 93, 47, 86, 3};? ? ? private int dimNum;? ? ? private int mixNum;? ? ? private double[] weights;? ? ? private double[][] m_means;? ? ? private double[][] m_vars;? ? ? private double[] m_minVars;? ? ? ? /***? ? ? *? ? ? * @param m_dimNum - 每個(gè)樣本數(shù)據(jù)的維度比伏， 對(duì)于圖像每個(gè)像素點(diǎn)來(lái)說(shuō)是RGB三個(gè)向量? ? ? * @param m_mixNum - 需要分割為幾個(gè)部分，即高斯混合模型中高斯模型的個(gè)數(shù)? ? ? */? ? ? public GMMProcessor(int m_dimNum, int m_mixNum) {? ? ? ? ? dimNum = m_dimNum;? ? ? ? ? mixNum = m_mixNum;? ? ? ? ? weights = new double[mixNum];? ? ? ? ? m_means = new double[mixNum][dimNum];? ? ? ? ? m_vars = new double[mixNum][dimNum];? ? ? ? ? m_minVars = new double[dimNum];? ? ? }? ? ? ? ? ? /***? ? ? * data - 需要處理的數(shù)據(jù)? ? ? * @param data? ? ? */? ? ? public void process(double[] data) {? ? ? ? ? int m_maxIterNum = 100;? ? ? ? ? double err = 0.001;? ? ? ? ? ? ? ? ? ? boolean loop = true;? ? ? ? ? double iterNum = 0;? ? ? ? ? double lastL = 0;? ? ? ? ? double currL = 0;? ? ? ? ? int unchanged = 0;? ? ? ? ? ? ? ? ? ? initParameters(data);? ? ? ? ? ? ? ? ? ? int size = data.length;? ? ? ? ? double[] x = new double[dimNum];? ? ? ? ? double[][] next_means = new double[mixNum][dimNum];? ? ? ? ? double[] next_weights = new double[mixNum];? ? ? ? ? double[][] next_vars = new double[mixNum][dimNum];? ? ? ? ? ListcList = new ArrayList();? ? ? ? ? ? while(loop) {? ? ? ? ? ? ? Arrays.fill(next_weights, 0);? ? ? ? ? ? ? cList.clear();? ? ? ? ? ? ? for(int i=0; i1E-20) ? Math.log10(p) : -20;? ? ? ? ? ? ? }? ? ? ? ? ? ? currL /= size;? ? ? ? ? ? ? ? ? ? ? ? ? ? // Re-estimation: generate new weight, means and variances.? ? ? ? ? ? ? for (int j = 0; j < mixNum; j++)? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? weights[j] = next_weights[j] / size;? ? ? ? ? ? ? ? ? ? ? ? if (weights[j] > 0)? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? for (int d = 0; d < dimNum; d++)? ? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? ? m_means[j][d] = next_means[j][d] / next_weights[j];? ? ? ? ? ? ? ? ? ? ? ? ? m_vars[j][d] = next_vars[j][d] / next_weights[j] - m_means[j][d] * m_means[j][d];? ? ? ? ? ? ? ? ? ? ? ? ? if (m_vars[j][d] < m_minVars[d])? ? ? ? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? ? ? ? m_vars[j][d] = m_minVars[d];? ? ? ? ? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? }? ? ? ? ? ? ? ? ? ? ? ? ? ? // Terminal conditions? ? ? ? ? ? ? iterNum++;? ? ? ? ? ? ? if (Math.abs(currL - lastL) < err * Math.abs(lastL))? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? unchanged++;? ? ? ? ? ? ? }? ? ? ? ? ? ? if (iterNum >= m_maxIterNum || unchanged >= 3)? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? loop = false;? ? ? ? ? ? ? }? ? ? ? ? }? ? ? ? ? ? ? ? ? ? // print result? ? ? ? ? System.out.println("=================最終結(jié)果=================");? ? ? ? ? for(int i=0; imax) {? ? ? ? ? ? ? ? ? ? ? max = v;? ? ? ? ? ? ? ? ? ? ? types[k] = i;? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? }? ? ? ? ? }? ? ? ? ? double[] counts = new double[mixNum];? ? ? ? ? for(int i=0; i0)? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? for (int d = 0; d < dimNum; d++)? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? m_vars[i][d] = m_vars[i][d] / counts[i];? ? ? ? ? ? ? ? ? ? ? ? // A minimum variance for each dimension is required.? ? ? ? ? ? ? ? ? ? ? if (m_vars[i][d] < m_minVars[d])? ? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? ? m_vars[i][d] = m_minVars[d];? ? ? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? ? ? }? ? ? ? ? ? ? }? ? ? ? ? }? ? ? ? ? ? ? ? ? ? System.out.println("=================初始化=================");? ? ? ? ? for(int i=0; iPDF
* @param x - 表示采樣數(shù)據(jù)點(diǎn)向量
* @param j - 表示對(duì)對(duì)應(yīng)的第J個(gè)分類的概率密度分布
* @return - 返回概率密度分布可能性值
*/
public double getProbability(double[] x, int j)
{
double p = 1;
for (int d = 0; d < dimNum; d++)
{
p *= 1 / Math.sqrt(2 * 3.14159 * m_vars[j][d]);
p *= Math.exp(-0.5 * (x[d] - m_means[j][d]) * (x[d] - m_means[j][d]) / m_vars[j][d]);
}
return p;
}
public static void main(String[] args) {
GMMProcessor filter = new GMMProcessor(1, 2);
filter.process(samples);
}
}
結(jié)構(gòu)類DataNode
[java] view plain copy
package com.gloomyfish.image.gmm;
public class DataNode {
public int cindex; // cluster
public int index;
public double[] value;
public DataNode(double[] v) {
this.value = v;
cindex = -1;
index = -1;
}
}
五：結(jié)果
這里初始中心均值的方法我是通過(guò)隨機(jī)數(shù)來(lái)實(shí)現(xiàn)疆导，GMM算法運(yùn)行結(jié)果跟初始化有很大關(guān)系赁项，常見(jiàn)初始化中心點(diǎn)的方法是通過(guò)K-Means來(lái)計(jì)算出中心點(diǎn)。大家可以嘗試修改代碼基于K-Means初始化參數(shù)澈段，我之所以選擇隨機(jī)參數(shù)初始悠菜，主要是為了省事！
著作權(quán)歸作者所有败富。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)悔醋，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處∈薅＃互聯(lián)網(wǎng)+時(shí)代芬骄，時(shí)刻要保持學(xué)習(xí)，攜手千鋒PHP,Dream It Possible鹦聪。
