聚類
在無監(jiān)督學(xué)習(xí)中，訓(xùn)練樣本的標(biāo)記是沒有指定的，通過對(duì)無標(biāo)記樣本的訓(xùn)練來探索數(shù)據(jù)之間的規(guī)律屈溉。其中應(yīng)用最廣的便是聚類贱迟，聚類試圖把一群未標(biāo)記數(shù)據(jù)劃分為一堆不相交的子集姐扮，每個(gè)子集叫做”簇“，每個(gè)簇可能對(duì)應(yīng)于一個(gè)類別標(biāo)簽衣吠，但值得注意的是茶敏，這個(gè)標(biāo)簽僅僅是我們?nèi)藶橹付◤?qiáng)加的，并不是數(shù)據(jù)本身就存在這樣的標(biāo)簽缚俏。例如音樂軟件對(duì)音樂的曲分或者流派進(jìn)行聚類惊搏，可以劃分為傷感贮乳，輕快等一系列標(biāo)簽，但是這個(gè)曲分只是人為加上的恬惯，音樂本身并不知道自己被分為了什么曲分向拆。
那聚類該如何做性能度量呢？在機(jī)器學(xué)習(xí)中我們都需要對(duì)任務(wù)進(jìn)行評(píng)價(jià)以便于進(jìn)行下一步的優(yōu)化酪耳。分類和回歸都有自己的評(píng)估準(zhǔn)則浓恳，包括準(zhǔn)確率，精確度葡兑，召回率等奖蔓，聚類中的性能度量也同樣有這樣的指標(biāo)來評(píng)價(jià)聚類的性能。
考慮聚類的任務(wù)的目的讹堤，容易想到就是”物以類聚“吆鹤，即達(dá)到”簇內(nèi)相似度高“，”簇間相似度低“的性能效果洲守。具體的性能度量有兩類疑务，一類是外部指標(biāo)，與某個(gè)專家給定的參考模型進(jìn)行比對(duì)梗醇，另一類是內(nèi)部指標(biāo)知允，只考慮自己聚類之后的結(jié)果。
外部指標(biāo)
外部指標(biāo)需要一個(gè)參考模型叙谨，這個(gè)參考模型通常是由專家給定的温鸽，或者是公認(rèn)的參考模型比如公開數(shù)據(jù)集。對(duì)于聚類的結(jié)果所形成的簇集合（這里叫做簇C）手负，對(duì)于參考模型的簇集合（這里叫做D）涤垫，對(duì)這兩個(gè)模型結(jié)果的樣本進(jìn)行兩兩配對(duì)比較，可得到如下顯而易見的數(shù)據(jù)竟终。
a = 在C中屬于相同簇且在D中屬于相同簇的樣本對(duì)的數(shù)量蝠猬。
b = 在C中屬于相同簇且在D中屬于不同簇的樣本對(duì)的數(shù)量。
c = 在C中屬于不同簇且在D中屬于相同簇的樣本對(duì)的數(shù)量统捶。
d = 在C中屬于不同簇且在D中屬于不同簇的樣本對(duì)的數(shù)量榆芦。
對(duì)這里的abcd，不考慮一個(gè)樣本屬于多個(gè)簇的情況喘鸟，因此每個(gè)樣本都只能出現(xiàn)在一個(gè)集合中匆绣，所以a+b+c+d=m(m-1)/2。（m為樣本總數(shù))
由此可以導(dǎo)出幾個(gè)常見的外部性能指標(biāo)迷守，Jaccard系數(shù)犬绒，F(xiàn)M指數(shù)，Rand指數(shù)兑凿。
Jaccard指數(shù)（簡稱JC）常用來表示集合之間的相似性和差異性凯力，常常被定義為集合交集大小與集合并集大小的比值茵瘾，因此也常被叫做并交比。其公式為
RI和Jaccard系數(shù)十分相似拗秘，只是所比較的范圍不同而已。這里每個(gè)指標(biāo)的值均在0-1之間祈惶，顯然值越大說明聚類效果越好雕旨。
內(nèi)部指標(biāo)
內(nèi)部指標(biāo)則只考慮聚類之后這些簇之間的效果，通常用距離來度量捧请。
avg(C):簇C樣本間的平均距離
diam(C):簇C樣本間的最遠(yuǎn)距離
dmin(ci,cj):簇間最近樣本間的距離
dcen(ci,jc)：簇間中心點(diǎn)之間的距離
使用這些簇間的距離指標(biāo)也可以導(dǎo)出幾個(gè)常見的性能度量內(nèi)部指標(biāo)凡涩，DB指數(shù)，Dunn指數(shù)疹蛉。
DB指數(shù)（簡稱DBI）
顯然活箕，DBI的值越小越好，而DI的值越大越好可款。
距離度量
計(jì)算簇之間的相似性和差異性時(shí)常常要使用距離來進(jìn)行度量育韩，內(nèi)部指標(biāo)也都是以距離度量為基礎(chǔ)的。
距離常常分為度量距離和非度量距離闺鲸，其中度量距離滿足非負(fù)性筋讨，對(duì)稱性，直遞性（三角不等式）摸恍，而非度量距離往往不滿足直遞性悉罕。舉個(gè)例子，人馬和人很像立镶，人馬也和馬和像蛮粮，但是人和馬的差距非常大，即不滿足三角不等式谜慌，所以這個(gè)距離為非距離度量。
而對(duì)于屬性可以分為連續(xù)屬性和離散屬性莺奔，但這個(gè)分類法對(duì)距離度量沒有多大意義欣范。在考慮距離的時(shí)候，屬性更多的是考慮有序性令哟，例如高恼琼，中，矮是有序的屏富，即高>中>矮晴竞。但是金魚，鯉魚狠半，草魚這些便是沒有順序的噩死，無法對(duì)這些魚的品種來比較順序颤难。
對(duì)于有序?qū)傩裕覀冏畛Ｊ褂玫氖情h科夫斯基距離
而當(dāng)p取不同值的時(shí)候已维，便可得到實(shí)際使用的距離度量行嗤。
當(dāng)p=1時(shí)，為曼哈頓距離
當(dāng)p=2時(shí)垛耳，為歐式距離
當(dāng)p=無窮大時(shí)栅屏，為切比雪夫距離
對(duì)于無序?qū)傩裕褂肰DM(Value Difference Metric)來表示堂鲜，令表示在屬性u(píng)上取值為a的樣本數(shù)栈雳，
表示在第i個(gè)樣本簇中在屬性u(píng)上取值為a的樣本數(shù)，k為樣本簇?cái)?shù)缔莲，則屬性u(píng)上兩個(gè)離散值a,b的VDN距離為：
而對(duì)于多個(gè)具有不同重要性的屬性來說，只需要使用加權(quán)距離就可以了
以上的距離都是事先就計(jì)算好的酌予，有的距離的度量方法需要通過學(xué)習(xí)數(shù)據(jù)中的特征來獲得距離磺箕，這就屬于”距離度量學(xué)習(xí)“的范疇了。
歡迎大家關(guān)注公眾號(hào)“計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)”
