機(jī)器學(xué)習(xí)中的數(shù)學(xué)——奇異值和奇異值分解

前言

我們知道,只有方陣才有特征值和特征向量,因此只有方陣才能特征值分解, 那么非方陣怎么辦?

奇異值和奇異值分解

特征值分解只適用于方陣, 奇異值分解適用于任意的矩陣.

奇異值分解 ???????????????? ?????????? ??????????????????????????篡腌,?????? 症虑,一種重要的矩陣分解方法以一種方便快捷的方式將我們感興趣的矩陣分解成更簡(jiǎn)單且有直觀意義的矩陣的乘積
\pmb X=\pmb U\Sigma\pmb V^{-1}

??, ??是兩個(gè)正交陣[1]义黎,??是對(duì)角陣洒琢,對(duì)角元是??的奇異值


例:
\pmb A=\begin{bmatrix}4&0\\3&-5\\\end{bmatrix}想分解的形式:\pmb{A=U\Sigma V^T}.

分解步驟:

1. 求轉(zhuǎn)置矩陣

\pmb A^T=\begin{bmatrix}4&3\\0&-5\\\end{bmatrix}

\pmb A^T\pmb A=\begin{bmatrix}4&3\\0&-5\end{bmatrix}\begin{bmatrix}4&0\\3&-5\\\end{bmatrix}=\begin{bmatrix}25&-15\\-15&25\\\end{bmatrix}

2. 求特征值:

<font color='red'>\pmb A^T\pmb A-\lambda\pmb E=\begin{bmatrix}25-\lambda&-15\\-15&25-\lambda\end{bmatrix}</font>

\lambda_1=40~~~\lambda_2=10

3. <font color='red'>求奇異值:s_1=\sqrt{\lambda_1}=6.3245~~~s_2=\sqrt{\lambda_2}=3.1622

\pmb S=\begin{bmatrix}6.3245&0\\0&3.1622\\\end{bmatrix}~~~;\pmb S^{-1}=\begin{bmatrix}0.1581&0\\0&0.3164\end{bmatrix}

針對(duì)特征值\lambda_1,計(jì)算特征向量:
\pmb A^T\pmb A-\lambda\pmb E=\begin{bmatrix}-15&-15\\-15&-15\end{bmatrix}

(\pmb A^T\pmb A-\lambda \pmb E)\pmb X_1=0

\begin{bmatrix}-15&-15\\-15&-15\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=0

x_1=-x_2;~~~~L=\sqrt{x_1^2-x_2^2}=x_1\sqrt{2}

得:\pmb X_1=\begin{bmatrix}x_1/L\\x_2/L\end{bmatrix}=\begin{bmatrix}1/\sqrt{2}\\-1/\sqrt{2}\end{bmatrix}=\begin{bmatrix}0.7071\\-0.7071\end{bmatrix}

同理可得\pmb X_2=\begin{bmatrix}0.7071\\0.7071\end{bmatrix}

我們想分解的形式為:\pmb A=\pmb U\pmb S\pmb V^T

\pmb V=\begin{bmatrix}\pmb X_1&\pmb X_2\end{bmatrix}=\begin{bmatrix}0.7071&0.7071\\-0.7071&0.7071\end{bmatrix}

\pmb V^T=\begin{bmatrix}0.7071&-0.7071\\0.7071&0.7071\end{bmatrix}

\pmb U=\pmb{AVS^{-1}}=\begin{bmatrix}0.4472&0.8944\\0.8944&-0.4472\end{bmatrix}

\pmb{A=USV^{T}}=\begin{bmatrix}3.9998&0\\2.9999&-4.9997\end{bmatrix}\approx\begin{bmatrix}4&0\\3&-5\\\end{bmatrix}

代碼實(shí)例:

import numpy as np
x2 = np.array([[4, 0], [3, 5]])
u, sigma, vt = np.linalg.svd(x2)
print('u', u)
print('sigma', sigma)
print('vt', vt)
u [[-0.4472136  -0.89442719]
 [-0.89442719  0.4472136 ]]
sigma [6.32455532 3.16227766]
vt [[-0.70710678 -0.70710678]
 [-0.70710678  0.70710678]]

尋找有效特征,數(shù)據(jù)壓縮

image

image

  1. 如果:\pmb A\pmb A^T=\pmb E\pmb E為單位矩陣赶么,\pmb A^t表示“矩陣A的轉(zhuǎn)置矩陣”甥捺。)或\pmb A^T\pmb A=\pmb E去件,則n階實(shí)矩陣A稱為正交矩陣荠医。 ?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市持隧,隨后出現(xiàn)的幾起案子即硼,更是在濱河造成了極大的恐慌,老刑警劉巖屡拨,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件只酥,死亡現(xiàn)場(chǎng)離奇詭異褥实,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)裂允,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門损离,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人绝编,你說我怎么就攤上這事僻澎。” “怎么了十饥?”我有些...
    開封第一講書人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵窟勃,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我逗堵,道長(zhǎng)秉氧,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任蜒秤,我火速辦了婚禮汁咏,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘作媚。我一直安慰自己攘滩,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開白布纸泡。 她就那樣靜靜地躺著轰驳,像睡著了一般。 火紅的嫁衣襯著肌膚如雪弟灼。 梳的紋絲不亂的頭發(fā)上级解,一...
    開封第一講書人閱讀 52,696評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音田绑,去河邊找鬼勤哗。 笑死,一個(gè)胖子當(dāng)著我的面吹牛掩驱,可吹牛的內(nèi)容都是我干的芒划。 我是一名探鬼主播,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼欧穴,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼民逼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起涮帘,我...
    開封第一講書人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤拼苍,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后调缨,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體疮鲫,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡吆你,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了俊犯。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片妇多。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖燕侠,靈堂內(nèi)的尸體忽然破棺而出者祖,到底是詐尸還是另有隱情,我是刑警寧澤绢彤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布咸包,位于F島的核電站,受9級(jí)特大地震影響杖虾,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜媒熊,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一奇适、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧芦鳍,春花似錦嚷往、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至菲宴,卻和暖如春贷祈,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背喝峦。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工势誊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人谣蠢。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓粟耻,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親眉踱。 傳聞我的和親對(duì)象是個(gè)殘疾皇子挤忙,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容