含義角度解釋(物理意義角度)
奇異值往往對應(yīng)著矩陣中隱含的重要信息,且重要性和奇異值大小正相關(guān)毁习。每個(gè)矩陣都可以表示為一系列秩為1的“小矩陣”之和,而奇異值則衡量了這些“小矩陣”對于的權(quán)重
幾何角度解釋(線性變換的角度)
奇異值分解的含義是俏险,把一個(gè)矩陣A看成線性變換(當(dāng)然也可以看成是數(shù)據(jù)矩陣或者樣本矩陣)仇轻,那么這個(gè)線性變換的作用效果是這樣的,我們可以在原空間找到一組標(biāo)準(zhǔn)正交基V焦人,同時(shí)可以在像空間找到一組標(biāo)準(zhǔn)正交基U挥吵,我們知道,看一個(gè)矩陣的作用效果只要看它在一組基上的作用效果即可花椭,在內(nèi)積空間上忽匈,我們更希望看到它在一組標(biāo)準(zhǔn)正交基上的作用效果。而矩陣A在標(biāo)準(zhǔn)正交基V上的作用效果恰好可以表示為在U的對應(yīng)方向上只進(jìn)行純粹的伸縮矿辽!這就大大簡化了我們對矩陣作用的認(rèn)識丹允,因?yàn)槲覀冎溃覀兠媲安还苁嵌嗝磸?fù)雜的矩陣袋倔,它在某組標(biāo)準(zhǔn)正交基上的作用就是在另外一組標(biāo)準(zhǔn)正交基上進(jìn)行伸縮而已雕蔽。
這就表明任意的矩陣 A 是可以分解成三個(gè)矩陣相乘的形式。V表示了原始域的標(biāo)準(zhǔn)正交基宾娜,U表示經(jīng)過A 變換后的co-domain的標(biāo)準(zhǔn)正交基批狐,Σ表示了V 中的向量與U中相對應(yīng)向量之間的關(guān)系。我們仔細(xì)觀察上圖發(fā)現(xiàn)前塔,線性變換A可以分解為旋轉(zhuǎn)贾陷、縮放、旋轉(zhuǎn)這三種基本線性變換嘱根。
[圖片上傳失敗...(image-b3fd09-1524467528745)]
∑是對角陣髓废,表示奇異值,A矩陣的作用是將一個(gè)向量在V這組正交基向量的空間旋轉(zhuǎn)该抒,并對每個(gè)方向進(jìn)行了一定的縮放慌洪,縮放因子就是各個(gè)奇異值顶燕。然后在U這組正交基向量的空間再次旋轉(zhuǎn)「缘可以說奇異值分解將一個(gè)矩陣原本混合在一起的三種作用效果涌攻,分解出來了
應(yīng)用
不同角度的奇異值解釋
1、推薦系統(tǒng)
左奇異值矩陣U:用戶-潛在因子矩陣
左奇異值矩陣V:潛在因子-音樂矩陣
∑:潛在因子的重要度
潛在因子指的是物品的特征
一频伤,用戶-潛在因子矩陣U恳谎,表示不同的用戶對于不用元素的偏好程度,1代表很喜歡憋肖,0代表不喜歡因痛。比如下面這樣:
二,潛在因子-音樂矩陣 V岸更,表示每種音樂含有各種元素的成分鸵膏,比如下表中,音樂A是一個(gè)偏小清新的音樂怎炊,含有小清新這個(gè)Latent Factor的成分是0.9谭企,重口味的成分是0.1,優(yōu)雅的成分是0.2……
在推薦系統(tǒng)里面评肆,代表
SVD奇異值分解(3)-推薦算法應(yīng)用
https://cloud.tencent.com/developer/article/1049377
2债查、LSI 文本
左奇異值矩陣U:詞-潛在因子矩陣
左奇異值矩陣V:潛在因子-文章
∑:潛在因子的重要度
潛在因子指的是詞的隱含含義
https://my.oschina.net/u/1462678/blog/893835
這就是一個(gè)矩陣,不過不太一樣的是瓜挽,這里的一行表示一個(gè)詞在哪些title中出現(xiàn)了(一行就是之前說的一維feature)攀操,一列表示一個(gè)title中有哪些詞,(這個(gè)矩陣其實(shí)是我們之前說的那種一行是一個(gè)sample的形式的一種轉(zhuǎn)置秸抚,這個(gè)會使得我們的左右奇異向量的意義產(chǎn)生變化速和,但是不會影響我們計(jì)算的過程)。比如說T1這個(gè)title中就有g(shù)uide剥汤、investing颠放、market、stock四個(gè)詞吭敢,各出現(xiàn)了一次碰凶,我們將這個(gè)矩陣進(jìn)行SVD,得到下面的矩陣:
左奇異向量表示詞的一些特性鹿驼,右奇異向量表示文檔的一些特性欲低,中間的奇異值矩陣表示左奇異向量的一行與右奇異向量的一列的重要程序,數(shù)字越大越重要畜晰。
繼續(xù)看這個(gè)矩陣還可以發(fā)現(xiàn)一些有意思的東西砾莱,首先,左奇異向量的第一列表示每一個(gè)詞的出現(xiàn)頻繁程度凄鼻,雖然不是線性的腊瑟,但是可以認(rèn)為是一個(gè)大概的描述聚假,比如book是0.15對應(yīng)文檔中出現(xiàn)的2次,investing是0.74對應(yīng)了文檔中出現(xiàn)了9次闰非,rich是0.36對應(yīng)文檔中出現(xiàn)了3次膘格;
其次,右奇異向量中的第一行表示每一篇文檔中的出現(xiàn)詞的個(gè)數(shù)的近似财松,比如說瘪贱,T6是0.49,出現(xiàn)了5個(gè)詞辆毡,T2是0.22菜秦,出現(xiàn)了2個(gè)詞。