這是本篇文章是《機(jī)器學(xué)習(xí)入門(mén)》系列文章的第三篇，該系列有如下文章：
《機(jī)器學(xué)習(xí)入門(mén)——基礎(chǔ)篇》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之監(jiān)督學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之非監(jiān)督學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之深度學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之強(qiáng)化學(xué)習(xí)》
先回顧我們?cè)?a href="http://www.reibang.com/p/184d22f9ccc3" target="_blank">《機(jī)器學(xué)習(xí)入門(mén)——基礎(chǔ)篇》里面講到的非監(jiān)督學(xué)習(xí)的概念俊性。那時(shí)锋拖，我們舉例講了聚類呆细，首先是自然聚類：
但是节腐，自然聚類會(huì)出現(xiàn)反直覺(jué)的情況猜揪，如下圖：
明明很簡(jiǎn)單的兩個(gè)類別被從中間“切開(kāi)”分成了反直覺(jué)的兩類阶界，為了解決這個(gè)明顯的困惑虹钮，我們引入了更高級(jí)的聚類算法聋庵，高斯聚類：
如上圖，這樣子分布的數(shù)據(jù)可以說(shuō)是大約符合高斯分布的芙粱，那么我們就可以按照高斯分布把數(shù)據(jù)分成一類又一類祭玉，也就是說(shuō)，同類的某種數(shù)據(jù)自然的以某個(gè)概率均值為中心服從高斯分布宅倒，我們把它們找出來(lái)就對(duì)了攘宙。
接下來(lái)，我們看看拐迁，用聚類算法可以具體實(shí)現(xiàn)一些什么事情蹭劈。
假如我們現(xiàn)在有這樣一組數(shù)據(jù)，是某個(gè)視頻網(wǎng)站上用戶對(duì)于視頻的打分线召，例如某用戶對(duì)于科幻類視頻打分4.5铺韧，有可能對(duì)于愛(ài)情類的電影打分為3。那么我們能不能通過(guò)打分來(lái)把用戶分個(gè)類缓淹，從而了解用戶的喜好和品位哈打，進(jìn)而推薦內(nèi)容呢？那么我們?cè)囈辉嚒?/p>
首先是數(shù)據(jù)：
橫軸是科幻類電影評(píng)分讯壶，縱軸是愛(ài)情類電影評(píng)分料仗，然后我們用數(shù)據(jù)預(yù)處理的辦法把這些點(diǎn)點(diǎn)都裝進(jìn)一個(gè)list：
X = biased_dataset[['avg_scifi_rating','avg_romance_rating']].values
接下來(lái)，開(kāi)始變戲法了：
# 引入KMeans庫(kù)
from sklearn.cluster import KMeans
# 實(shí)例化的時(shí)候帶一個(gè)參數(shù)伏蚊，聚成兩類
kmeans_1 = KMeans(n_clusters=2)
# 預(yù)測(cè)一下
predictions = kmeans_1.fit_predict(X)
最后我們把聚類以后的圖畫(huà)出來(lái)立轧，如下：
用不同的顏色標(biāo)注出來(lái)，可以看出分組的依據(jù)主要是每個(gè)人對(duì)愛(ài)情片的評(píng)分高低躏吊。如果愛(ài)情片的平均評(píng)分超過(guò) 3 星氛改，則屬于第一組，否則屬于另一組比伏。
如果分成三組胜卤，會(huì)發(fā)生什么？
kmeans_2 = KMeans(n_clusters=3)
其余代碼省略赁项，得到下面結(jié)果：
現(xiàn)在平均科幻片評(píng)分開(kāi)始起作用了葛躏，分組情況如下所示：
? 喜歡愛(ài)情片但是不喜歡科幻片的用戶
? 喜歡科幻片但是不喜歡愛(ài)情片的用戶
? 即喜歡科幻片又喜歡愛(ài)情片的用戶
再添加一組，又會(huì)發(fā)生什么肤舞？
kmeans_3 = KMeans(n_clusters=4)
這次基本無(wú)法清晰的解釋分類的意義了紫新，這也是無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn)之一，很快就無(wú)法解釋聚類的含義李剖，所以恰當(dāng)?shù)倪x擇類別數(shù)量是一門(mén)藝術(shù)：）
且不談藝術(shù)，工程上囤耳，我們總得有個(gè)辦法來(lái)控制這個(gè)值篙顺，這里介紹一個(gè)“肘部法”偶芍，名字真是古怪，道理倒是簡(jiǎn)單：計(jì)算隨著類別數(shù)增加帶來(lái)的誤差的變化德玫，找出比較小的誤差就是了匪蟀。那么誤差怎么計(jì)算呢，以兩類的情況舉例宰僧，兩類的話就有兩個(gè)中心點(diǎn)材彪，那么我們分別計(jì)算每一類中各個(gè)點(diǎn)到自己的中心點(diǎn)的距離，然后取個(gè)平方琴儿，再把結(jié)果加起來(lái)段化，就是誤差總和了。
然后我們?cè)俳榻B一個(gè)東西造成，叫輪廓系數(shù)显熏，就是說(shuō)，我們要評(píng)價(jià)兩個(gè)方面晒屎，一個(gè)是某個(gè)類的內(nèi)聚程度喘蟆，另一方面是不同類的數(shù)據(jù)的分離度，結(jié)合起來(lái)才是好的聚類鼓鲁。
輪廓系數(shù)公式：
a(i) = average(i向量到所有它屬于的簇中其它點(diǎn)的距離)
b(i) = min (i向量到與它相鄰最近的一簇內(nèi)的所有點(diǎn)的平均距離)
用輪廓系數(shù)蕴轨，我們得到了這個(gè)實(shí)驗(yàn)結(jié)果，橫軸是聚類的數(shù)量骇吭，縱軸是輪廓系數(shù)橙弱。我們看也就在開(kāi)始的時(shí)候輪廓系數(shù)還算比較好，后面就一瀉千里了绵跷，那么說(shuō)明這個(gè)電影愛(ài)好者的數(shù)據(jù)的聚類種類不能太多膘螟。
于是我們就把用戶強(qiáng)行分成了幾類。那么我們可以思考一下碾局，如果被分在某一類的用戶并沒(méi)有看過(guò)愛(ài)情片荆残，而他所在的類別的其他用戶對(duì)愛(ài)情片很不感冒，是否我們就可以認(rèn)為這個(gè)用戶也對(duì)愛(ài)情片不感冒呢净当？古老的“協(xié)同過(guò)濾算法”就是這么認(rèn)為的内斯。
但是今天我們有了用戶更多的行為數(shù)據(jù)，會(huì)分析出更多的結(jié)果像啼，甚至可以分析實(shí)時(shí)流數(shù)據(jù)俘闯。當(dāng)然那是一個(gè)復(fù)雜的話題，本文不做討論忽冻。
非監(jiān)督學(xué)習(xí)里面其實(shí)還有很多的內(nèi)容真朗，譬如主成分分析PCA，也是一個(gè)很有價(jià)值的方向僧诚，本文暫且不做討論遮婶。
這次就到這里吧蝗碎，歡迎關(guān)注《機(jī)器學(xué)習(xí)入門(mén)》系列文章。
這是本篇文章是《機(jī)器學(xué)習(xí)入門(mén)》系列文章的第三篇旗扑，該系列有如下文章：
《機(jī)器學(xué)習(xí)入門(mén)——基礎(chǔ)篇》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之監(jiān)督學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之非監(jiān)督學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之深度學(xué)習(xí)》
《機(jī)器學(xué)習(xí)入門(mén)——實(shí)戰(zhàn)篇之強(qiáng)化學(xué)習(xí)》
