“古之善為士者，微妙玄通浪秘，深不可識蒋情。
夫唯不可識。
故強(qiáng)為之容:豫兮耸携，若冬涉川棵癣；猶兮，若畏四鄰夺衍；儼兮狈谊，其若客；渙兮沟沙，若冰之將釋河劝；孰兮，其若樸矛紫；曠兮赎瞎，其若谷；渾兮颊咬，其若濁务甥。
孰能濁以止，靜之徐清喳篇？
孰能安以久敞临，動之徐生？”^[1]

在數(shù)據(jù)挖掘和數(shù)據(jù)分析中麸澜，經(jīng)常會遇到需要知道個體數(shù)據(jù)間差異的大小挺尿，進(jìn)而需要得到個體數(shù)據(jù)間的相似度，最常見的就是電商平臺中對于物品的推薦以及內(nèi)容平臺中對于信息的推送等等炊邦。
相似度就是兩個item之間的相似性编矾，一般就是計算兩個item的特征之間的距離，距離越大馁害，相似度越星⒐怠；距離越小蜗细，相似度越大裆操；也可以兩個向量間的夾角來表示怒详，夾角越大，相似度越凶偾昆烁；夾角越小，相似度越大缎岗；
常用的有以下四種方法：

• 歐幾里得距離（Eucledian Distance）或稱 歐氏距離
• 余弦相似度 （Cosine Similarity）
• 杰卡德相似系數(shù)（Jaccard Similarity coefficient）
• 皮爾遜相關(guān)系數(shù)（Pearson correlation）

歐幾里得距離 or 歐氏距離

兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的歐氏距離：

EuclideanDistance.png

python代碼常用的有兩種静尼，一種使用numpay，一種使用scipy：

import numpy as np
x=np.random.random(8)
y=np.random.random(8)
d1=np.sqrt(np.sum(np.square(x-y)))
d1

輸出：

1.1282380087788222

from scipy.spatial.distance import pdist
z=np.vstack([x,y])
d2=pdist(z)
d2

輸出：

array([ 1.12823801])

余弦相似度 （Cosine Similarity）

也可以叫余弦相似度传泊。 幾何中夾角余弦可用來衡量兩個向量方向的差異鼠渺，機(jī)器學(xué)習(xí)中借用這一概念來衡量樣本向量之間的差異。余弦取值范圍為[-1,1]眷细。求得兩個向量的夾角拦盹，并得出夾角對應(yīng)的余弦值，此余弦值就可以用來表征這兩個向量的相似性溪椎。夾角越小普舆，趨近于0度，余弦值越接近于1校读，它們的方向更加吻合沼侣，則越相似。當(dāng)兩個向量的方向完全相反夾角余弦取最小值-1歉秫。當(dāng)余弦值為0時蛾洛，兩向量正交，夾角為90度雁芙。因此可以看出雅潭，余弦相似度與向量的幅值無關(guān)，只與向量的方向相關(guān)却特。
兩個n維樣本點a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夾角余弦:

CosineSimilarity.png

d3=np.dot(x,y)/(np.linalg.norm(x)*np.linalg.norm(y))
d3

輸出：

0.70543665237781283

z=np.vstack([x,y])
d4=1-pdist(z,'cosine')
d4

輸出：

array([ 0.70543665])

杰卡德相似系數(shù)（Jaccard Similarity coefficient）

杰卡德相似系數(shù)

JaccardSimilarity01.png

兩個集合A和B的交集元素在A，B的并集中所占的比例筛圆，稱為兩個集合的杰卡德相似系數(shù)裂明，用符號J(A,B)表示。杰卡德相似系數(shù)是衡量兩個集合的相似度一種指標(biāo)太援。

杰卡德距離

JaccardSimilarity02.png

與杰卡德相似系數(shù)相反的概念是杰卡德距離(Jaccard distance)闽晦。杰卡德距離用兩個集合中不同元素占所有元素的比例來衡量兩個集合的區(qū)分度。

杰卡德相似系數(shù)代碼實現(xiàn)：

import numpy as np
from scipy.spatial.distance import pdist
x=np.random.random(8)>0.5
y=np.random.random(8)>0.5

x=np.asarray(x,np.int32)
y=np.asarray(y,np.int32)

#方法一：根據(jù)公式求解
up=np.double(np.bitwise_and((x != y),np.bitwise_or(x != 0, y != 0)).sum())
down=np.double(np.bitwise_or(x != 0, y != 0).sum())
d1=(up/down)
           

#方法二：根據(jù)scipy庫求解
X=np.vstack([x,y])
d2=pdist(X,'jaccard')

皮爾遜相關(guān)系數(shù)（Pearson correlation）

皮爾遜相關(guān)系數(shù)的定義

PearsonCorrelation01.png

前面提到的余弦相似度只與向量方向有關(guān)提岔，但它會受到向量的平移影響仙蛉，在夾角余弦公式中如果將 x 平移到 x+1, 余弦值就會改變。怎樣才能實現(xiàn)平移不變性碱蒙？這就要用到皮爾遜相關(guān)系數(shù)（Pearson correlation）荠瘪，有時候也直接叫相關(guān)系數(shù)夯巷。
如果將夾角余弦公式寫成：

PearsonCorrelation02.gif

PearsonCorrelation03.gif

皮爾遜相關(guān)系數(shù)具有平移不變性和尺度不變性哀墓，計算出了兩個向量（維度）的相關(guān)性趁餐。

import numpy as np
x=np.random.random(8)
y=np.random.random(8)

#方法一：根據(jù)公式求解
x_=x-np.mean(x)
y_=y-np.mean(y)
d1=np.dot(x_,y_)/(np.linalg.norm(x_)*np.linalg.norm(y_))

#方法二：根據(jù)numpy庫求解
X=np.vstack([x,y])
d2=np.corrcoef(X)[0][1]

相關(guān)系數(shù)是衡量隨機(jī)變量X與Y相關(guān)程度的一種方法，相關(guān)系數(shù)的取值范圍是[-1,1]篮绰。相關(guān)系數(shù)的絕對值越大后雷，則表明X與Y相關(guān)度越高。當(dāng)X與Y線性相關(guān)時吠各，相關(guān)系數(shù)取值為1（正線性相關(guān)）或-1（負(fù)線性相關(guān)）臀突。

1. 老子《道德經(jīng)》第十五章，老子故里贾漏，中國鹿邑候学。 ?