簡介
通過使用python語言實現(xiàn)KMeans算法辩稽，不使用sklearn標(biāo)準(zhǔn)庫鸠补。
該實驗中字母代表的含義如下：
- p:樣本點維度
- n:樣本點個數(shù)
- k:聚類中心個數(shù)
實驗要求
使用KMeans算法根據(jù)5名同學(xué)的各項成績將其分為3類法希。
數(shù)據(jù)集
數(shù)據(jù)存儲格式為csv那婉，本實驗使用數(shù)據(jù)集如下：
數(shù)據(jù)集
實驗步驟
- 引入需要的包
本實驗只需要numpy和pandas兩個包锹安， 其中numpy用于數(shù)值計算同仆，pandas用于讀取數(shù)據(jù)。
import numpy as np
import pandas as pd
- 定義函數(shù)計算歐氏距離
# 返回兩點之間的歐氏距離枪向，其中point1勤揩、point2為兩個點的坐標(biāo)，其維度為(p,)
def get_euclidean_distance(point1, point2):
return (np.sum((point1 - point2) ** 2)) ** 0.5
- 定義函數(shù)返回所有樣本點到聚類中心的歐氏距離
# 返回所有樣本點到所有聚類中心的歐氏距離秘蛔，其維度為(k,n)
def get_distances(train_data, crowds):
all_distances = [] # 保存所有樣本點到所有聚類中心的歐氏距離陨亡，其維度為(k,n)
for i in range(len(crowds)):
distances = [] # 保存所有樣本點到一個聚類中心的歐氏距離，其維度為(n,)
for j in range(len(train_data)):
distances.append(get_euclidean_distance(train_data[j], crowds[i]))
all_distances.append(distances)
return all_distances
- 定義函數(shù)根據(jù)歐氏距離將樣本點分類到最近的聚類中心深员，返回的list維度為(n,)
# 將樣本點分類到最近的聚類中心负蠕，其維度為(n,)
def classify(train_data, crowds):
all_distances = get_distances(train_data, crowds)
clsy = np.argmin(all_distances, axis=0)
return clsy
- 定義函數(shù)比較兩聚類結(jié)果
由于KMeans算法需要迭代知道聚類結(jié)果收斂，所以使用如下函數(shù)判斷兩個聚類結(jié)果是否相等倦畅。
# 返回一個bool值遮糖，表示分類結(jié)果是否改變
def clsy_change(new_clsy, clsy):
changed = False
for i in range(len(clsy)):
if clsy[i] != new_clsy[i]:
changed = True
break
return changed
- 定義聚類函數(shù)
該函數(shù)為最終的聚類函數(shù)，實現(xiàn)思路為根據(jù)KMeans算法的原理使用上述函數(shù)迭代獲取新的聚類結(jié)果知道聚類結(jié)果收斂滔迈。
def final_classify(train_data, crowds):
p = train_data.shape[1]
n = len(train_data)
k = len(crowds)
new_crowds = crowds
clsy = np.ndarray((n,))
new_clsy = np.ndarray((n,))
while (clsy != new_clsy).any():
clsy = new_clsy
new_clsy = classify(train_data, new_crowds)
print('new_clsy:', new_clsy)
new_crowds = []
clusters = [] # 每一個聚類中的樣本點的索引
for i in range(k):
clusters.append([])
for i in range(n):
clusters[new_clsy[i]].append(i)
for j in range(k):
if len(clusters[j]) == 0:
new_crowds.append(crowds[j])
else:
sums = np.zeros((p,))
for m in clusters[j]:
sums += train_data[m]
means = sums / len(clusters[j])
new_crowds.append(means)
return (new_crowds, new_clsy)
- 調(diào)用函數(shù)獲取實驗結(jié)果
# 初始聚類中心
crowds2 = np.array([[12, 15, 13, 28, 24], [7, 11, 10, 19, 21], [6, 7, 4, 13, 20]])
dataCsv2 = 'p2.csv'
data2 = pd.read_csv(dataCsv2)
train_data2 = data2.iloc[:, 1:].values
result2 = final_classify(train_data2, crowds2)
print('聚類中心:', np.array(result2[0]))
print('聚類結(jié)果:', np.array(result2[1]))
最終的聚類結(jié)果如下：
聚類結(jié)果
總結(jié)
KMeans算法是一種迭代求解的算法止吁，在實驗過程中要注意收斂的判定被辑，同時也要注意數(shù)據(jù)與求解過程中分類結(jié)果的表示方法，而且要明白初始聚類中心的選擇會對聚類結(jié)果產(chǎn)生直接的影響敬惦。
