K-means算法小記

K-means算法是聚類算法秃症。即給定一個數據集银亲,利用K-means算法可將其分為K類厂榛。

算法思想:
  1. 隨機從數據集中選取k個數據點作為k個分類的質心
  2. 遍歷其余所有數據點盖矫,對每個數據點作這樣的操作:計算數據點到每個質心的歐式距離丽惭,選取距離最小值的質心與其歸為一類。這一步完成之后辈双,得到的結果就是初始分類责掏。
  3. 重新計算每個分類的質心。一般是按維度來計算均值湃望。
  4. 對于重新得到的質心换衬,運行第二步操作。
  5. 不斷重復2证芭,3直到收斂瞳浦。

那么如何確定算法是不是收斂呢。應該也是一個cost函數優(yōu)化問題废士。

參數c是分類的標簽叫潦,類別1,類別2,類別三3...,第二個參數是每一類的質心所在坐標官硝。J所求就是每個樣本到它的質心的距離平方和矗蕊。K-means的優(yōu)化利用的是EM思想。固定質心泛源,改變樣本標簽c來減小j拔妥,固定標簽c,改變質心來減小J达箍。

用專業(yè)一些的話來說没龙,E步估計隱含類別y的期望值,M步調整其他參數使得在給定類別c的情況下缎玫,極大似然估計P(x,c)最大硬纤。

極大似然的概念,我總忘,在這里記錄一個博客地址:http://blog.csdn.net/zouxy09/article/details/8537620 當時看EM算法的時候看到的赃磨,通俗易懂筝家。

在K-means里,這個極大似然估計是怎么樣的邻辉。
在男生女生的例子中溪王,我們的未知參數假設為在學校中男生比例為p,假如男生出現30次女生出現70次值骇,那么也就是求p30×(1-p)70

的最大值莹菱。這是它的似然函數。我們只需要求導就能得到使得似然函數達到最大的p值吱瘩。

那么在K-means中道伟,那么這里的未知參數應該是c的坐標。然后求J的最小值,這是一種EM思想的一種體現蜜徽。

K-means的主要應用祝懂,第一個想到的是對淘寶用戶數據進行聚類,得出這個用戶屬于哪個分類拘鞋,然后進行針對性的推薦砚蓬?感覺這個只是聚類而已,不一定要用到K-means吧盆色。略微搜了一下怜械,沒有搜到“K-means算法的應用場景”之類的相關文章,明天再說傅事。

K-means的缺點:再補

K-means的python實現:http://blog.csdn.net/taoyanqi8932/article/details/53727841

參考了如下博客:

http://blog.csdn.net/csqazwsxedc/article/details/52225759

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末缕允,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子蹭越,更是在濱河造成了極大的恐慌障本,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件响鹃,死亡現場離奇詭異驾霜,居然都是意外死亡,警方通過查閱死者的電腦和手機买置,發(fā)現死者居然都...
    沈念sama閱讀 90,277評論 3 385
  • 文/潘曉璐 我一進店門粪糙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人忿项,你說我怎么就攤上這事蓉冈。” “怎么了轩触?”我有些...
    開封第一講書人閱讀 157,221評論 0 348
  • 文/不壞的土叔 我叫張陵寞酿,是天一觀的道長。 經常有香客問我脱柱,道長伐弹,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,474評論 1 283
  • 正文 為了忘掉前任榨为,我火速辦了婚禮惨好,結果婚禮上,老公的妹妹穿的比我還像新娘随闺。我一直安慰自己日川,他們只是感情好,可當我...
    茶點故事閱讀 65,570評論 6 386
  • 文/花漫 我一把揭開白布板壮。 她就那樣靜靜地躺著逗鸣,像睡著了一般合住。 火紅的嫁衣襯著肌膚如雪绰精。 梳的紋絲不亂的頭發(fā)上撒璧,一...
    開封第一講書人閱讀 49,816評論 1 290
  • 那天,我揣著相機與錄音笨使,去河邊找鬼卿樱。 笑死,一個胖子當著我的面吹牛硫椰,可吹牛的內容都是我干的繁调。 我是一名探鬼主播,決...
    沈念sama閱讀 38,957評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼靶草,長吁一口氣:“原來是場噩夢啊……” “哼蹄胰!你這毒婦竟也來了?” 一聲冷哼從身側響起奕翔,我...
    開封第一講書人閱讀 37,718評論 0 266
  • 序言:老撾萬榮一對情侶失蹤裕寨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后派继,有當地人在樹林里發(fā)現了一具尸體宾袜,經...
    沈念sama閱讀 44,176評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,511評論 2 327
  • 正文 我和宋清朗相戀三年驾窟,在試婚紗的時候發(fā)現自己被綠了庆猫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,646評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡绅络,死狀恐怖月培,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情恩急,我是刑警寧澤节视,帶...
    沈念sama閱讀 34,322評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站假栓,受9級特大地震影響寻行,放射性物質發(fā)生泄漏。R本人自食惡果不足惜匾荆,卻給世界環(huán)境...
    茶點故事閱讀 39,934評論 3 313
  • 文/蒙蒙 一拌蜘、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧牙丽,春花似錦简卧、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春铜涉,著一層夾襖步出監(jiān)牢的瞬間智玻,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評論 1 266
  • 我被黑心中介騙來泰國打工芙代, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留吊奢,地道東北人。 一個月前我還...
    沈念sama閱讀 46,358評論 2 360
  • 正文 我出身青樓纹烹,卻偏偏與公主長得像页滚,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子铺呵,可洞房花燭夜當晚...
    茶點故事閱讀 43,514評論 2 348

推薦閱讀更多精彩內容