從SVD的應(yīng)用理解SVD

含義角度解釋(物理意義角度)

奇異值往往對應(yīng)著矩陣中隱含的重要信息,且重要性和奇異值大小正相關(guān)毁习。每個(gè)矩陣都可以表示為一系列秩為1的“小矩陣”之和,而奇異值則衡量了這些“小矩陣”對于的權(quán)重

幾何角度解釋(線性變換的角度)

奇異值分解的含義是俏险,把一個(gè)矩陣A看成線性變換(當(dāng)然也可以看成是數(shù)據(jù)矩陣或者樣本矩陣)仇轻,那么這個(gè)線性變換的作用效果是這樣的,我們可以在原空間找到一組標(biāo)準(zhǔn)正交基V焦人,同時(shí)可以在像空間找到一組標(biāo)準(zhǔn)正交基U挥吵,我們知道,看一個(gè)矩陣的作用效果只要看它在一組基上的作用效果即可花椭,在內(nèi)積空間上忽匈,我們更希望看到它在一組標(biāo)準(zhǔn)正交基上的作用效果。而矩陣A在標(biāo)準(zhǔn)正交基V上的作用效果恰好可以表示為在U的對應(yīng)方向上只進(jìn)行純粹的伸縮矿辽!這就大大簡化了我們對矩陣作用的認(rèn)識丹允,因?yàn)槲覀冎溃覀兠媲安还苁嵌嗝磸?fù)雜的矩陣袋倔,它在某組標(biāo)準(zhǔn)正交基上的作用就是在另外一組標(biāo)準(zhǔn)正交基上進(jìn)行伸縮而已雕蔽。


image

這就表明任意的矩陣 A 是可以分解成三個(gè)矩陣相乘的形式。V表示了原始域的標(biāo)準(zhǔn)正交基宾娜,U表示經(jīng)過A 變換后的co-domain的標(biāo)準(zhǔn)正交基批狐,Σ表示了V 中的向量與U中相對應(yīng)向量之間的關(guān)系。我們仔細(xì)觀察上圖發(fā)現(xiàn)前塔,線性變換A可以分解為旋轉(zhuǎn)贾陷、縮放旋轉(zhuǎn)這三種基本線性變換嘱根。

[圖片上傳失敗...(image-b3fd09-1524467528745)]

∑是對角陣髓废,表示奇異值,A矩陣的作用是將一個(gè)向量在V這組正交基向量的空間旋轉(zhuǎn)该抒,并對每個(gè)方向進(jìn)行了一定的縮放慌洪,縮放因子就是各個(gè)奇異值顶燕。然后在U這組正交基向量的空間再次旋轉(zhuǎn)「缘可以說奇異值分解將一個(gè)矩陣原本混合在一起的三種作用效果涌攻,分解出來了

應(yīng)用

不同角度的奇異值解釋

1、推薦系統(tǒng)

左奇異值矩陣U:用戶-潛在因子矩陣
左奇異值矩陣V:潛在因子-音樂矩陣
∑:潛在因子的重要度
潛在因子指的是物品的特征

一频伤,用戶-潛在因子矩陣U恳谎,表示不同的用戶對于不用元素的偏好程度,1代表很喜歡憋肖,0代表不喜歡因痛。比如下面這樣:

image

二,潛在因子-音樂矩陣 V岸更,表示每種音樂含有各種元素的成分鸵膏,比如下表中,音樂A是一個(gè)偏小清新的音樂怎炊,含有小清新這個(gè)Latent Factor的成分是0.9谭企,重口味的成分是0.1,優(yōu)雅的成分是0.2……

image

在推薦系統(tǒng)里面评肆,代表
SVD奇異值分解(3)-推薦算法應(yīng)用
https://cloud.tencent.com/developer/article/1049377

2债查、LSI 文本

左奇異值矩陣U:詞-潛在因子矩陣
左奇異值矩陣V:潛在因子-文章
∑:潛在因子的重要度
潛在因子指的是詞的隱含含義
https://my.oschina.net/u/1462678/blog/893835

這就是一個(gè)矩陣,不過不太一樣的是瓜挽,這里的一行表示一個(gè)詞在哪些title中出現(xiàn)了(一行就是之前說的一維feature)攀操,一列表示一個(gè)title中有哪些詞,(這個(gè)矩陣其實(shí)是我們之前說的那種一行是一個(gè)sample的形式的一種轉(zhuǎn)置秸抚,這個(gè)會使得我們的左右奇異向量的意義產(chǎn)生變化速和,但是不會影響我們計(jì)算的過程)。比如說T1這個(gè)title中就有g(shù)uide剥汤、investing颠放、market、stock四個(gè)詞吭敢,各出現(xiàn)了一次碰凶,我們將這個(gè)矩陣進(jìn)行SVD,得到下面的矩陣:

image

左奇異向量表示詞的一些特性鹿驼,右奇異向量表示文檔的一些特性欲低,中間的奇異值矩陣表示左奇異向量的一行與右奇異向量的一列的重要程序,數(shù)字越大越重要畜晰。

繼續(xù)看這個(gè)矩陣還可以發(fā)現(xiàn)一些有意思的東西砾莱,首先,左奇異向量的第一列表示每一個(gè)詞的出現(xiàn)頻繁程度凄鼻,雖然不是線性的腊瑟,但是可以認(rèn)為是一個(gè)大概的描述聚假,比如book是0.15對應(yīng)文檔中出現(xiàn)的2次,investing是0.74對應(yīng)了文檔中出現(xiàn)了9次闰非,rich是0.36對應(yīng)文檔中出現(xiàn)了3次膘格;

其次,右奇異向量中的第一行表示每一篇文檔中的出現(xiàn)詞的個(gè)數(shù)的近似财松,比如說瘪贱,T6是0.49,出現(xiàn)了5個(gè)詞辆毡,T2是0.22菜秦,出現(xiàn)了2個(gè)詞。

3胚迫、圖像壓縮
4喷户、求解AX=0方程
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末唾那,一起剝皮案震驚了整個(gè)濱河市访锻,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌闹获,老刑警劉巖期犬,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異避诽,居然都是意外死亡龟虎,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進(jìn)店門沙庐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鲤妥,“玉大人,你說我怎么就攤上這事拱雏∶薨玻” “怎么了?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵铸抑,是天一觀的道長贡耽。 經(jīng)常有香客問我,道長鹊汛,這世上最難降的妖魔是什么蒲赂? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮刁憋,結(jié)果婚禮上滥嘴,老公的妹妹穿的比我還像新娘。我一直安慰自己至耻,他們只是感情好氏涩,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布届囚。 她就那樣靜靜地躺著,像睡著了一般是尖。 火紅的嫁衣襯著肌膚如雪意系。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天饺汹,我揣著相機(jī)與錄音蛔添,去河邊找鬼。 笑死兜辞,一個(gè)胖子當(dāng)著我的面吹牛迎瞧,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播逸吵,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼凶硅,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了扫皱?” 一聲冷哼從身側(cè)響起足绅,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎韩脑,沒想到半個(gè)月后氢妈,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡段多,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年首量,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片进苍。...
    茶點(diǎn)故事閱讀 37,997評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡加缘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出觉啊,到底是詐尸還是另有隱情拣宏,我是刑警寧澤,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布柄延,位于F島的核電站蚀浆,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏搜吧。R本人自食惡果不足惜市俊,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望滤奈。 院中可真熱鬧摆昧,春花似錦、人聲如沸蜒程。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至忌锯,卻和暖如春伪嫁,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背偶垮。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工张咳, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人似舵。 一個(gè)月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓脚猾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親砚哗。 傳聞我的和親對象是個(gè)殘疾皇子龙助,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內(nèi)容