余弦相似度

簡(jiǎn)介:余弦相似度呻待,即兩物體之間的cos$值,值越大队腐,表示兩物體的相似度越大带污。

1、向量空間余弦相似度:即向量空間中兩夾角的余弦值香到。其值在0-1之間鱼冀,兩向量越接近,其夾角越小悠就,余弦值越接近于1千绪。

2、n維空間的余弦公式:

3梗脾、python中的工具:

numpy中提供了范數(shù)的計(jì)算工具:linalg.norm()荸型,假定X、Y均為列向量炸茧,

則: ? ?num = float(X.T * Y)#若為行向量則 X * Y.T

? ? ? ? ? ?denom = linalg.norm(X) * linalg.norm(Y)

? ? ? ? ? ?cos = num / denom#余弦值

? ? ? ? ? ?sim =0.5+0.5* cos#歸一化

? ? ? ? ? ?dist = linalg.norm(X - Y)

? ? ? ? ? sim =1.0/ (1.0+ dist)#歸一化

4瑞妇、例子:


***文本相似度****

sim?=1.0/?(1.0+?dist)#歸一化

句子A:這只皮靴號(hào)碼大了稿静。那只號(hào)碼合適

句子B:這只皮靴號(hào)碼不小,那只更合適

怎樣計(jì)算上面兩句話的相似程度辕狰?

基本思路是:如果這兩句話的用詞越相似改备,它們的內(nèi)容就應(yīng)該越相似。因此蔓倍,可以從詞頻入手悬钳,計(jì)算它們的相似程度。

第一步偶翅,分詞默勾。

句子A:這只/皮靴/號(hào)碼/大了。那只/號(hào)碼/合適聚谁。

句子B:這只/皮靴/號(hào)碼/不/小母剥,那只/更/合適。

第二步形导,列出所有的詞媳搪。

這只,皮靴骤宣,號(hào)碼,大了序愚。那只憔披,合適,不爸吮,小芬膝,很

第三步,計(jì)算詞頻形娇。

句子A:這只1锰霜,皮靴1,號(hào)碼2桐早,大了1癣缅。那只1,合適1哄酝,不0友存,小0,更0

句子B:這只1陶衅,皮靴1屡立,號(hào)碼1,大了0搀军。那只1膨俐,合適1勇皇,不1,小1焚刺,更1

第四步敛摘,寫出詞頻向量。

句子A:(1檩坚,1着撩,2,1匾委,1拖叙,1,0赂乐,0薯鳍,0)

句子B:(1,1挨措,1挖滤,0,1浅役,1斩松,1,1觉既,1)

到這里惧盹,問題就變成了如何計(jì)算這兩個(gè)向量的相似程度。我們可以把它們想象成空間中的兩條線段瞪讼,都是從原點(diǎn)([0, 0, ...])出發(fā)钧椰,指向不同的方向。兩條線段之間形成一個(gè)夾角符欠,如果夾角為0度嫡霞,意味著方向相同、線段重合,這是表示兩個(gè)向量代表的文本完全相等希柿;如果夾角為90度诊沪,意味著形成直角,方向完全不相似曾撤;如果夾角為180度娄徊,意味著方向正好相反。因此盾戴,我們可以通過夾角的大小寄锐,來判斷向量的相似程度。夾角越小,就代表越相似橄仆。

使用上面的公式(4)

計(jì)算兩個(gè)句子向量

句子A:(1剩膘,1,2盆顾,1怠褐,1,1您宪,0奈懒,0,0)

和句子B:(1宪巨,1磷杏,1,0捏卓,1极祸,1,1怠晴,1遥金,1)的向量余弦值來確定兩個(gè)句子的相似度。

計(jì)算過程如下:

計(jì)算結(jié)果中夾角的余弦值為0.81非常接近于1蒜田,所以稿械,上面的句子A和句子B是基本相似的

由此,我們就得到了文本相似度計(jì)算的處理流程是:

(1)找出兩篇文章的關(guān)鍵詞冲粤;

(2)每篇文章各取出若干個(gè)關(guān)鍵詞美莫,合并成一個(gè)集合,計(jì)算每篇文章對(duì)于這個(gè)集合中的詞的詞頻

(3)生成兩篇文章各自的詞頻向量色解;

(4)計(jì)算兩個(gè)向量的余弦相似度,值越大就表示越相似餐茵。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末科阎,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子忿族,更是在濱河造成了極大的恐慌锣笨,老刑警劉巖,帶你破解...
    沈念sama閱讀 210,978評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件道批,死亡現(xiàn)場(chǎng)離奇詭異错英,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)隆豹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門椭岩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事判哥∠籽牛” “怎么了?”我有些...
    開封第一講書人閱讀 156,623評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵塌计,是天一觀的道長(zhǎng)挺身。 經(jīng)常有香客問我,道長(zhǎng)锌仅,這世上最難降的妖魔是什么章钾? 我笑而不...
    開封第一講書人閱讀 56,324評(píng)論 1 282
  • 正文 為了忘掉前任,我火速辦了婚禮热芹,結(jié)果婚禮上贱傀,老公的妹妹穿的比我還像新娘。我一直安慰自己剿吻,他們只是感情好窍箍,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,390評(píng)論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著丽旅,像睡著了一般椰棘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上榄笙,一...
    開封第一講書人閱讀 49,741評(píng)論 1 289
  • 那天邪狞,我揣著相機(jī)與錄音,去河邊找鬼茅撞。 笑死帆卓,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的米丘。 我是一名探鬼主播剑令,決...
    沈念sama閱讀 38,892評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼拄查!你這毒婦竟也來了吁津?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,655評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤堕扶,失蹤者是張志新(化名)和其女友劉穎碍脏,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體稍算,經(jīng)...
    沈念sama閱讀 44,104評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡典尾,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了糊探。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片钾埂。...
    茶點(diǎn)故事閱讀 38,569評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡河闰,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出勃教,到底是詐尸還是另有隱情淤击,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評(píng)論 4 328
  • 正文 年R本政府宣布故源,位于F島的核電站污抬,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏绳军。R本人自食惡果不足惜印机,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,834評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望门驾。 院中可真熱鬧射赛,春花似錦、人聲如沸奶是。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽聂沙。三九已至秆麸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間及汉,已是汗流浹背沮趣。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評(píng)論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留坷随,地道東北人房铭。 一個(gè)月前我還...
    沈念sama閱讀 46,260評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像温眉,于是被迫代替她去往敵國和親缸匪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,446評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容