來源：DataGod
聚類分析是沒有給定劃分類別的情況下，根據(jù)樣本相似度進行樣本分組的一種方法幔摸，是一種非監(jiān)督的學(xué)習(xí)算法摸柄。聚類的輸入是一組未被標(biāo)記的樣本，聚類根據(jù)數(shù)據(jù)自身的距離或相似度劃分為若干組既忆，劃分的原則是組內(nèi)距離最小化而組間距離最大化驱负，如下圖所示：
常見的聚類分析算法如下：
- K-Means： K-均值聚類也稱為快速聚類法，在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K患雇。該算法原理簡單并便于處理大量數(shù)據(jù)跃脊。
- K-中心點：K-均值算法對孤立點的敏感性，K-中心點算法不采用簇中對象的平均值作為簇中心苛吱，而選用簇中離平均值最近的對象作為簇中心酪术。
- 系統(tǒng)聚類：也稱為層次聚類，分類的單位由高到低呈樹形結(jié)構(gòu)翠储，且所處的位置越低绘雁，其所包含的對象就越少，但這些對象間的共同特征越多援所。該聚類方法只適合在小數(shù)據(jù)量的時候使用庐舟，數(shù)據(jù)量大的時候速度會非常慢。
下面我們詳細(xì)介紹K-Means聚類算法住拭。
K-Means聚類算法
K-Means算法是典型的基于距離的非層次聚類算法挪略，在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K，采用距離作為相似性的評價指標(biāo)废酷，即認(rèn)為兩個對象的距離越近瘟檩，其相似度就越大。
算法實現(xiàn)
選擇K個點作為初始質(zhì)心
repeat
將每個點指派到最近的質(zhì)心澈蟆，形成K個簇
重新計算每個簇的質(zhì)心
until 簇不發(fā)生變化或達到最大迭代次數(shù)
K如何確定
與層次聚類結(jié)合，經(jīng)常會產(chǎn)生較好的聚類結(jié)果的一個有趣策略是卓研，首先采用層次凝聚算法決定結(jié)果粗的數(shù)目趴俘，并找到一個初始聚類，然后用迭代重定位來改進該聚類奏赘。
初始質(zhì)心的選取
常見的方法是隨機的選取初始質(zhì)心寥闪，但是這樣簇的質(zhì)量常常很差。
（1）多次運行磨淌，每次使用一組不同的隨機初始質(zhì)心疲憋，然后選取具有最小SSE（誤差的平方和）的簇集。這種策略簡單梁只，但是效果可能不好缚柳，這取決于數(shù)據(jù)集和尋找的簇的個數(shù)埃脏。
（2）取一個樣本，并使用層次聚類技術(shù)對它聚類秋忙。從層次聚類中提取K個簇彩掐，并用這些簇的質(zhì)心作為初始質(zhì)心。該方法通常很有效灰追，但僅對下列情況有效：樣本相對較卸掠摹；K相對于樣本大小較小弹澎。
（3）取所有點的質(zhì)心作為第一個點朴下。然后，對于每個后繼初始質(zhì)心苦蒿，選擇離已經(jīng)選取過的初始質(zhì)心最遠的點桐猬。使用這種方法，確保了選擇的初始質(zhì)心不僅是隨機的刽肠，而且是散開的惫撰。但是躺涝，這種方法可能選中離群點。
距離的度量
常用的距離度量方法包括：歐幾里得距離和余弦相似度。歐幾里得距離度量會受指標(biāo)不同單位刻度的影響俺猿，所以一般需要先進行標(biāo)準(zhǔn)化，同時距離越大圈盔，個體間差異越大；空間向量余弦夾角的相似度度量不會受指標(biāo)刻度的影響，余弦值落于區(qū)間[-1,1]，值越大矫俺，差異越小铅匹。
質(zhì)心的計算
對于距離度量不管是采用歐式距離還是采用余弦相似度涕俗，簇的質(zhì)心都是其均值询刹。
算法停止條件
一般是目標(biāo)函數(shù)達到最優(yōu)或者達到最大的迭代次數(shù)即可終止蔽挠。對于不同的距離度量量窘，目標(biāo)函數(shù)往往不同冬殃。當(dāng)采用歐式距離時，目標(biāo)函數(shù)一般為最小化對象到其簇質(zhì)心的距離的平方和；當(dāng)采用余弦相似度時攀隔，目標(biāo)函數(shù)一般為最大化對象到其簇質(zhì)心的余弦相似度和。
空聚類的處理
如果所有的點在指派步驟都未分配到某個簇，就會得到空簇。如果這種情況發(fā)生捅彻，則需要某種策略來選擇一個替補質(zhì)心澈驼，否則的話辛燥，平方誤差將會偏大。
（1）選擇一個距離當(dāng)前任何質(zhì)心最遠的點氏淑。這將消除當(dāng)前對總平方誤差影響最大的點勃蜘。
（2）從具有最大SSE的簇中選擇一個替補的質(zhì)心，這將分裂簇并降低聚類的總SSE假残。如果有多個空簇缭贡，則該過程重復(fù)多次。
適用范圍及缺陷
K-Menas算法試圖找到使平方誤差準(zhǔn)則函數(shù)最小的簇辉懒。當(dāng)潛在的簇形狀是凸面的阳惹，簇與簇之間區(qū)別較明顯，且簇大小相近時眶俩，其聚類結(jié)果較理想莹汤。對于處理大數(shù)據(jù)集合，該算法非常高效颠印，且伸縮性較好纲岭。
但該算法除了要事先確定簇數(shù)K和對初始聚類中心敏感外，經(jīng)常以局部最優(yōu)結(jié)束线罕，同時對“噪聲”和孤立點敏感止潮，并且該方法不適于發(fā)現(xiàn)非凸面形狀的簇或大小差別很大的簇。
克服缺點的方法：使用盡量多的數(shù)據(jù)钞楼；使用中位數(shù)代替均值來克服outlier的問題喇闸。
實例解析
>>> import pandas as pd
# 載入sklearn包自帶數(shù)據(jù)集
>>> from sklearn.datasets importload_iris
>>> iris = load_iris()
# 需要聚類的數(shù)據(jù)150個樣本，4個變量
>>> iris.data
>>> data = pd.DataFrame(iris.data)
# 數(shù)據(jù)標(biāo)準(zhǔn)化(z-score)
>>> data_zs = (data -data.mean())/data.std()
# 導(dǎo)入sklearn中的kmeans
>>> from sklearn.cluster importKMeans
# 設(shè)置類數(shù)k
>>> k = 3
# 設(shè)置最大迭代次數(shù)
>>> iteration = 500
# 創(chuàng)建kmeans對象
>>> model = KMeans(n_clusters=k,n_jobs=4,max_iter=iteration)
# 使用數(shù)據(jù)訓(xùn)練訓(xùn)練model
>>> model.fit(data_zs)
# 每個類別樣本個數(shù)
>>> pd.Series(model.labels_).value_counts()
# 每個類別的聚類中心
>>> pd.DataFrame(model.cluster_centers_)
下面我們用TSNE（高維數(shù)據(jù)可視化工具）對聚類結(jié)果進行可視化
>>> import matplotlib.pyplot asplt
>>> from sklearn.manifold importTSNE
>>> tsne = TSNE(learning_rate=100)
# 對數(shù)據(jù)進行降維
>>> tsne.fit_transform(data_zs)
>>> data =pd.DataFrame(tsne.embedding_, index=data_zs.index)
# 不同類別用不同顏色和樣式繪圖
>>> d = data[model.labels_==0]
>>> plt.plot(d[0],d[1],'r.')
>>> d = data[model.labels_==1]
>>> plt.plot(d[0],d[1],'go')
>>> d = data[model.labels_==2]
>>> plt.plot(d[0],d[1],'b*')
>>> plt.show()
聚類效果圖如下：
下面我們用PCA降維后询件，對聚類結(jié)果進行可視化
>>> from sklearn.decompositionimport PCA
>>> pca = PCA()
>>> data =pca.fit_transform(data_zs)
>>> data = pd.DataFrame(data,index=data_zs.index)
>>> d = data[model.labels_==0]
>>> plt.plot(d[0],d[1],'r.')
>>> d = data[model.labels_==1]
>>> plt.plot(d[0],d[1],'go')
>>> d = data[model.labels_==2]
>>> plt.plot(d[0],d[1],'b*')
>>> plt.show()
聚類效果圖如下：
Python主要的聚類分析算法總結(jié)
在scikit-learn中實現(xiàn)的聚類算法主要包括K-Means燃乍、層次聚類、FCM宛琅、神經(jīng)網(wǎng)絡(luò)聚類刻蟹，其主要相關(guān)函數(shù)如下：
- KMeans: K均值聚類；
- AffinityPropagation: 吸引力傳播聚類嘿辟，2007年提出座咆，幾乎優(yōu)于所有其他方法痢艺，不需要指定聚類數(shù)K仓洼，但運行效率較低介陶；
- MeanShift：均值漂移聚類算法；
-
SpectralClustering：譜聚類色建，具有效果比KMeans好哺呜，速度比KMeans快等特點；
5.** AgglomerativeClustering**：層次聚類箕戳，給出一棵聚類層次樹某残； - DBSCAN：具有噪音的基于密度的聚類方法；
- BIRCH：綜合的層次聚類算法陵吸，可以處理大規(guī)模數(shù)據(jù)的聚類玻墅。
這些方法的使用大同小異，基本都是先用對應(yīng)的函數(shù)建立模型壮虫，然后用fit()方法來訓(xùn)練模型澳厢，訓(xùn)練好之后，就可以用labels_屬性得到樣本數(shù)據(jù)的標(biāo)簽囚似，或者用predict()方法預(yù)測新樣本的標(biāo)簽剩拢。
