奇異值分解的幾何意義闡述

對角矩陣是我們最喜歡的一類矩陣，因為給定一個對角陣立即就可以得到它的特征值，行列式，冪和指數(shù)函數(shù)等等

而一個n階的方陣相似于對角陣當(dāng)且僅當(dāng)它存在著n個線性無關(guān)的特征向量序愚。

特征值分解A_{n \times n}=Q \Lambda Q^{-1}，A \mathbf{v}_{i}=\lambda_{i} \mathbf{v}_{i}

其中Q=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)\text { s.t. } Q^{\top} A Q=\Lambda=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{n}\right)是A的特征向量組成的正交矩陣

正交矩陣受到關(guān)注是因為求逆的代價小Q^T=Q^{-1}

上面A_{n \times n}為實對稱矩陣鲜结，那么矩陣A_{m \times n}如何“對角化”？

AA^T與A^TA

設(shè)實矩陣A_{m \times n}的秩為r活逆，則AA^T為m階實對稱矩陣精刷，A^TA為n階實對稱矩陣

設(shè)A^{T} A \mathbf{x}=\lambda \mathbf{x}(\mathbf{x} \neq \mathbf{0})，則\mathbf{x}^TA^{T} A \mathbf{x}=\lambda \mathbf{x}^T \mathbf{x}蔗候，

即\|A \mathbf{x}\|^{2}=\lambda\|\mathbf{x}\|^{2}

故\lambda\geq 0怒允。A^{T} A的特征值都是非負(fù)數(shù)，同理AA^T的特征值也都是非負(fù)數(shù)

矩陣的行秩與列秩相等

秩=列向量個數(shù)锈遥，稱為列滿秩纫事。秩=行向量個數(shù)，稱為行滿秩所灸。

因為r\left(A A^{T}\right)=r\left(A^{T} A\right)=r(A)=r(A^T)=r丽惶，所以AA^T非零特征值的數(shù)量=r=A^TA非零特征值的數(shù)量

設(shè)\lambda是A^TA的非零特征值。即\exists \mathbf{x} \neq0爬立，使得A^{T} A \mathbf{x}=\lambda \mathbf{x}

則有A A^{T} A \mathbf{x}=\lambda A \mathbf{x}钾唬。故\lambda也是A A^{T} 的非零特征值

因此AA^T與A^TA具有相同的非零特征值

從上面證明看出AA^T和A^TA的這r個非零特征值為\sigma_{1}^{2} \geq \cdots \geq \sigma_{r}^{2}>0，其中\sigma_{i}>0

設(shè)V=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right) \in \mathbb{R}^{n}為n階實對稱方陣A^TA的單位正交特征向量侠驯，則V^TV=I_{n}

A^{T} A\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)\left(\begin{array}{cccc}{\sigma_{1}^{2}} & {} & {} & {} \\{} & {\ddots} & {} & {} \\{} & {} & {\sigma_{r}^{2}} \\{} & {} & {} & {0}\end{array}\right)

注意到A^{T} A \mathbf{v}_{i}=\sigma_{i}^{2} \mathbf{v}_{i}(1 \leq i \leq r)抡秆，

故(\mathbf{v}_{i}^{T} A^{T}) A \mathbf{v}_{i}=\sigma_{i}^{2} (\mathbf{v}_{i}^{T} \mathbf{v}_{i})，即\left\|A \mathbf{v}_{i}\right\|^{2}=\sigma_{i}^{2} \rightarrow |A \mathbf{v}_{i}| = \sigma_{i}

令\mathbf{u}_{i}=\frac{A \mathbf{v}_{i}}{\sigma_{i}} \in \mathbb{R}^{m}(1 \leq i \leq r)吟策，則AA^{T} \mathbf{u}_{i}=\sigma_{i}^{2} \mathbf{u}_{i}儒士，

并且\mathbf{u}_{i}^{T} \mathbf{u}_{j}=\frac{\left(A \mathbf{v}_{i}\right)^{T}}{\sigma_{i}} \frac{A \mathbf{v}_{j}}{\sigma_{j}}=\frac{(\mathbf{v}_{i}^{T}A^{T} )A \mathbf{v}_{j}}{\sigma_{i} \sigma_{j}}=\frac{\sigma_{j}^{2} (\mathbf{v}_{i}^{T} \mathbf{v}_{j})}{\sigma_{i} \sigma_{j}}=\frac{\sigma_{j}}{\sigma_{i}} \delta_{i j}=\delta_{i j}

故\left\{\mathbf{u}_{i} | 1 \leq i \leq r\right\}是AA^{T}的單位正交特征向量

（1）\mathbf{u}_{i}=\frac{A \mathbf{v}_{i}}{\sigma_{i}} \in \mathbb{R}^{m}(1 \leq i \leq r) \rightarrow A \mathbf{v}_{i}=\sigma_{i} \mathbf{u}_{i}

（2）A^{T} A \mathbf{v}_{i}=\sigma_{i}^{2} \mathbf{v}_{i},(i \leq i \leq r) \rightarrow A^{T} \frac{A \mathbf{v}_{i}}{\sigma_{i}}=\sigma_{i} \mathbf{v}_{i} \rightarrow A^{T} \mathbf{u}_{i}=\sigma_{i} \mathbf{v}_{i}

由上式子得：U是A列空間的一組單位正交基 U^{T} U=I_{m}，V是A^T的列空間的一組單位正交基V^{T} V=I_{n}檩坚。σ_{i}是A \mathbf{v}_{i}的長度着撩，計\left(\begin{array}{cccc}{\sigma_{1}} & {} & {} & {} \\{} & {\cdot} & {} & {} \\{} & {} & {\cdot} & {} \\{} & {} & {} & {} & {\sigma_{r}}\end{array}\right) 為Σ诅福，得：

A_{m \times n} V_{n \times r}=U_{m \times r} \Sigma_{r \times r}

A_{m \times n}=U_{m \times r} \Sigma_{r \times r} V^{-1}_{r \times n} =U_{m \times r} \Sigma_{r \times r} V^{T}_{r \times n}

\mathbb{R}^{n}=C\left(A^{T}\right) \oplus? N(A)，\mathbb{R}^{m}=C(A) \oplus N\left(A^{T}\right)

A(\overbrace{\underbrace{\mathbf{v}_{1} \cdots \mathbf{v}_{r}}_{C(A^{T})} \underbrace{\mathbf{v}_{r+1} \cdots \mathbf{v}_{n}}_{N(A)}}^{V_{n \times n}})=(\overbrace{\underbrace{\mathbf{u}_{1} \cdots \mathbf{u}_{r}}_{C(A)} \underbrace{\mathbf{u}_{r+1} \cdots \mathbf{u}_{n}}_{N(A^T)}}^{U_{m \times m}})\overbrace{\left(\begin{array}{cccc}{\sigma_{1}^{2}} & {} & {} & {} \\{} & {\ddots} & {} & {} \\{} & {} & {\sigma_{r}^{2}} \\{} & {} & {} & {0}\end{array}\right)}^{Σ_{m \times n}}

A_{m \times n} V_{n \times n}=U_{m \times m} \Sigma_{m \times n}

SVD幾何意義
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末睹酌，一起剝皮案震驚了整個濱河市权谁，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌憋沿，老刑警劉巖旺芽，帶你破解...
    沈念sama閱讀 217,907評論 6贊 506
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異辐啄，居然都是意外死亡采章，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門壶辜，熙熙樓的掌柜王于貴愁眉苦臉地迎上來悯舟，“玉大人，你說我怎么就攤上這事砸民〉衷酰” “怎么了？”我有些...
    開封第一講書人閱讀 164,298評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵岭参，是天一觀的道長反惕。 經(jīng)常有香客問我，道長演侯，這世上最難降的妖魔是什么姿染？ 我笑而不...
    開封第一講書人閱讀 58,586評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮秒际，結(jié)果婚禮上悬赏，老公的妹妹穿的比我還像新娘。我一直安慰自己娄徊，他們只是感情好闽颇，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著寄锐，像睡著了一般进萄。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上锐峭，一...
    開封第一講書人閱讀 51,488評論 1贊 302
  • 城市分裂傳說
    那天中鼠，我揣著相機(jī)與錄音，去河邊找鬼沿癞。 笑死援雇，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的椎扬。 我是一名探鬼主播惫搏，決...
    沈念sama閱讀 40,275評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼具温，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了筐赔？” 一聲冷哼從身側(cè)響起铣猩，我...
    開封第一講書人閱讀 39,176評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎茴丰，沒想到半個月后达皿，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,619評論 1贊 314
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡贿肩，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年峦椰，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片汰规。...
    茶點(diǎn)故事閱讀 39,932評論 1贊 348
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡汤功，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出溜哮，到底是詐尸還是另有隱情滔金，我是刑警寧澤，帶...
    沈念sama閱讀 35,655評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布茂嗓，位于F島的核電站餐茵，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏在抛。R本人自食惡果不足惜钟病，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評論 3贊 329
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一萧恕、第九天 我趴在偏房一處隱蔽的房頂上張望刚梭。 院中可真熱鬧，春花似錦票唆、人聲如沸朴读。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0贊 22
  • 一樁弒父案走趋，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽衅金。三九已至，卻和暖如春簿煌，著一層夾襖步出監(jiān)牢的瞬間氮唯，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工姨伟， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留惩琉，地道東北人。 一個月前我還...
    沈念sama閱讀 48,095評論 3贊 370
  • 代替公主和親
    正文 我出身青樓夺荒，卻偏偏與公主長得像瞒渠，于是被迫代替她去往敵國和親良蒸。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評論 2贊 354

推薦閱讀更多精彩內(nèi)容