我是 雪天魚(yú)愉昆，一名FPGA愛(ài)好者，研究方向是FPGA架構(gòu)探索和數(shù)字IC設(shè)計(jì)麻蹋。
關(guān)注公眾號(hào)【集成電路設(shè)計(jì)教程】跛溉，獲取更多學(xué)習(xí)資料，并拉你進(jìn)“IC設(shè)計(jì)交流群”扮授。
QQIC設(shè)計(jì)&FPGA&DL交流群 群號(hào)：866169462芳室。
@[TOC]
一、量化算法
1.1 K-Means
將一堆二維樣本表示在坐標(biāo)軸上刹勃，如下圖左圖所示：
若我們將其用K-Means分為3類堪侯，如上圖右側(cè)所示，分為了綠荔仁、藍(lán)和橙三類伍宦，還會(huì)告訴我們每類的聚類中心在哪里芽死，這樣就可以用三個(gè)數(shù)據(jù)去代替之前的多個(gè)數(shù)據(jù)，達(dá)到減少存儲(chǔ)數(shù)據(jù)所需的內(nèi)存空間大小的目的次洼。
對(duì)于一維數(shù)據(jù)而言关贵，也是一樣的，會(huì)將每個(gè)數(shù)據(jù)劃分到具體的類（即 label）卖毁，然后也告訴我們每個(gè)類的聚類中心（center）揖曾。
二、算法代碼實(shí)現(xiàn)
1.1 K-Means代碼實(shí)現(xiàn)
1 安裝包
pip install scikit-learn
2 導(dǎo)入 K-Means
from sklearn.cluster import KMeans
3. 完整代碼實(shí)現(xiàn)
def k_means_cpu(weight, n_clusters, init='k-means++', max_iter=50):
# flatten the weight for computing k-means,轉(zhuǎn)為一維數(shù)據(jù)
org_shape = weight.shape
weight = weight.reshape(-1, 1)
# 若類別大于矩陣權(quán)重個(gè)數(shù)亥啦，則修改類別個(gè)數(shù)為矩陣權(quán)重個(gè)數(shù)炭剪。
if n_clusters > weight.numel():
n_clusters = weight.numel()
# 處理數(shù)據(jù)，進(jìn)行分類
k_means = KMeans(n_clusters=n_clusters, init=init, n_init=1, max_iter=max_iter)
k_means.fit(weight)
# 讀取 “聚類中心” 和 “l(fā)abels”
centroids = k_means.cluster_centers_
labels = k_means.labels_
# 將 labels 還原為輸入權(quán)重矩陣的形式
labels = labels.reshape(org_shape)
return torch.from_numpy(centroids).cuda().view(1, -1), torch.from_numpy(labels).int().cuda()
函數(shù) k_means_cpu：
- weight：權(quán)重參數(shù)矩陣禁悠，tensor 數(shù)據(jù)類型念祭。
- n_clusters：將數(shù)據(jù)分為 n 類
- return:返回兩個(gè)參數(shù)，聚類中心 和 對(duì)應(yīng)的 label 矩陣碍侦。
測(cè)試：
print("="*10)
print("未分類前的權(quán)重矩陣")
w = torch.rand(4, 5)
print(w,w.shape)
# print("展開(kāi)")
# w2 = w.reshape(-1, 1)
# print(w2,w2.shape)
# num = w2.numel()
# print(num,type(num))
print("="*10)
print("經(jīng) K-Means 算法分類后的權(quán)重矩陣")
centroids, labels = k_means_cpu(w, 2)
print(centroids)
print(labels)
輸出結(jié)果：
可以看到這里將其分為了2類，首先輸出 聚類中心隶糕，這里為 tensor([[0.7972, 0.3407]])瓷产，再輸出labels矩陣∶蹲ぃ可以看到大點(diǎn)的權(quán)重都劃分到了0.7972這一類濒旦，小點(diǎn)的權(quán)重都劃分到了 0.3407這一類。復(fù)原即為：
下一節(jié)將講述如何在實(shí)際網(wǎng)絡(luò)中量化權(quán)重參數(shù)再登。
- 更多技術(shù)文章和學(xué)習(xí)資料尔邓，請(qǐng)關(guān)注我的公眾號(hào)：【集成電路設(shè)計(jì)教程】
- 全平臺(tái)統(tǒng)一：【雪天魚(yú)】
