2018-09-28 #Papers# Gaussian Mixture Regression and Classification

IPRA(Iterative Pairwise Replacement Algorithm)

對于GMR算法,待給定的參數(shù)包括:

  • Component個數(shù)K访圃,即包含的(一元/多元)高斯分布的個數(shù)厨幻。
  • Bandwidth h,kernel覆蓋范圍腿时,控制“局部性”况脆,h越小,->更小的鄰域批糟,曲線不夠光滑格了;h越大 ->更大的鄰域,曲線更光滑徽鼎。
    h值的選取不需要太嚴(yán)格盛末,而K的選取較影響GMR擬合效果和預(yù)測性能,先重點描述如何確定K否淤。

IPRA算法便用于確定初始Component個數(shù)K悄但。其主要思想是,對于n個數(shù)據(jù)點石抡,初始化n個GMM檐嚣,使其過擬合。按照一定順序比較兩個Component的相似性汁雷,如果相似則合并兩個Component净嘀,并更新其參數(shù)报咳,迭代執(zhí)行這個過程直到滿足終止條件。IPRA主要包含3個步驟:

  • Similarity measure
  • Ordering merging
  • Update parameters

TODO:每一個過程的分析待添加

Similarity measure

本文利用Weighted \ Hellinger \ Distance來衡量相似性挖藏。
最終公式是:H(w_1, w_2, \phi_1, \phi_2) = \sqrt{({w_1}{w_2})}(1 - 2 \int{\sqrt{{\phi_1} {\phi_2} }dx})

image.png

Ordering merging

本文應(yīng)用MST(Minimum Spanning Tree)來決定merging的順序:
利用上述Weighted \ Hellinger \ Distance計算第i, j個Component的相似性(i \neq j)暑刃, 構(gòu)建MST,選擇距離最小膜眠,即相似度最高的兩個Component進(jìn)行合并岩臣。

Update parameters

本文應(yīng)用MoM(Method-of-Moments)來更新合并后的Component參數(shù),公式如下:
w = w_i + w_j \mu = \frac{w_i}{w}{\mu_i} + \frac{w_j}{w}{\mu_j} \Sigma = \frac{w_i}{w}{\Sigma_i} + \frac{w_j}{w}{\Sigma_j} + \frac{{w_i}{w_j}}{w^2}{(\mu_i - \mu_j)(\mu_i - \mu_j)^{T} }

IPRA算法終止條件:

MSE和PE

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末宵膨,一起剝皮案震驚了整個濱河市架谎,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌辟躏,老刑警劉巖谷扣,帶你破解...
    沈念sama閱讀 219,490評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異捎琐,居然都是意外死亡会涎,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評論 3 395
  • 文/潘曉璐 我一進(jìn)店門瑞凑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來末秃,“玉大人,你說我怎么就攤上這事籽御×纺剑” “怎么了?”我有些...
    開封第一講書人閱讀 165,830評論 0 356
  • 文/不壞的土叔 我叫張陵技掏,是天一觀的道長铃将。 經(jīng)常有香客問我,道長哑梳,這世上最難降的妖魔是什么麸塞? 我笑而不...
    開封第一講書人閱讀 58,957評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮涧衙,結(jié)果婚禮上哪工,老公的妹妹穿的比我還像新娘。我一直安慰自己弧哎,他們只是感情好雁比,可當(dāng)我...
    茶點故事閱讀 67,974評論 6 393
  • 文/花漫 我一把揭開白布坟冲。 她就那樣靜靜地躺著钦幔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪讳癌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,754評論 1 307
  • 那天茴她,我揣著相機(jī)與錄音寻拂,去河邊找鬼。 笑死丈牢,一個胖子當(dāng)著我的面吹牛祭钉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播己沛,決...
    沈念sama閱讀 40,464評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼慌核,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了申尼?” 一聲冷哼從身側(cè)響起垮卓,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎师幕,沒想到半個月后粟按,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,847評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡霹粥,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,995評論 3 338
  • 正文 我和宋清朗相戀三年钾怔,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蒙挑。...
    茶點故事閱讀 40,137評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖愚臀,靈堂內(nèi)的尸體忽然破棺而出忆蚀,到底是詐尸還是另有隱情,我是刑警寧澤姑裂,帶...
    沈念sama閱讀 35,819評論 5 346
  • 正文 年R本政府宣布馋袜,位于F島的核電站,受9級特大地震影響舶斧,放射性物質(zhì)發(fā)生泄漏欣鳖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,482評論 3 331
  • 文/蒙蒙 一茴厉、第九天 我趴在偏房一處隱蔽的房頂上張望泽台。 院中可真熱鬧,春花似錦矾缓、人聲如沸怀酷。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,023評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蜕依。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間样眠,已是汗流浹背友瘤。 一陣腳步聲響...
    開封第一講書人閱讀 33,149評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留檐束,地道東北人辫秧。 一個月前我還...
    沈念sama閱讀 48,409評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像厢塘,于是被迫代替她去往敵國和親茶没。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,086評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 望斷重城九萬家晚碾。 秋心一似在天涯抓半。 等閑換得清平日, 好把游身亂看花格嘁。 河岸柳笛求, 漫山霞。 青煙碧水綠春芽糕簿。 長行...
    銅鞮伯華閱讀 339評論 1 1
  • 今日計劃: 【1】中午瑜伽探入、游泳 【2】文案課程學(xué)習(xí)、筆記懂诗、作業(yè) 【3】流利說小課學(xué)習(xí)蜂嗽、筆記、打卡 【4】簡書日更...
    鹿依牧閱讀 158評論 0 2
  • “不明覺厲”是時下的網(wǎng)絡(luò)熱詞之一病附,意思是,雖然看不明白亥鬓,但是就是覺得很厲害的樣子完沪。 不明為什么還會覺厲呢?因為嵌戈,就...
    小米二世閱讀 1,248評論 6 16