復(fù)習(xí)一下SVD宿饱，這部分其實(shí)我之前一直理解得不太好绘证，雖然知道SVD的一些實(shí)際應(yīng)用源织，但理論部分一直有欠缺，這里補(bǔ)充學(xué)習(xí)一下滤愕。
(圖引自http://www.ams.org/publicoutreach/feature-column/fcarc-svd)

文中提到，奇異值分解為分解矩陣提供了一種方便的方法逼肯，矩陣中可能包含一些我們感興趣的數(shù)據(jù)黎炉，通過奇異值分解我們可以將矩陣分解為更簡單、更有意義的部分嗽交。

在探究奇異值分解前卿嘲，我們先來看一下對角矩陣和對稱矩陣的幾何意義：

我們看到，對坐標(biāo)點(diǎn)(x,y)左乘對角矩陣的幾何意義就是“把平面水平拉伸3倍夫壁，垂直方向不變”拾枣，其實(shí)就是在坐標(biāo)值不變的基礎(chǔ)上，x軸的標(biāo)度變?yōu)樵瓉淼?倍盒让。再換一種更書面的表述就是梅肤，我們換了一組基，由{(1,0),(0,1)}換成了{(lán)(3,0),(0,1)}邑茄。

對稱矩陣其實(shí)做的也是差不多的事姨蝴，即換了一組基，由{(1,0),(0,1)}換成了{(lán)(2,1),(1,2)}肺缕。圖中我們也能看到變換后的x軸上的unit vector就是(2,1)左医。

如果僅是這樣描述矩陣乘法的作用，似乎并沒有辦法對矩陣分解和簡化起到什么幫助同木，因?yàn)樽鴺?biāo)系可以變成任何樣子浮梢，基向量也可能不再垂直（比如這里的(2,1)和(1,2)），有沒有一種方法使得我們變換后的坐標(biāo)軸依然保持垂直呢彤路？下面就是一例：

我們看到黔寇，左圖的初始坐標(biāo)系相比原坐標(biāo)系逆時針旋轉(zhuǎn)了45度，此時坐標(biāo)(1,1)對應(yīng)的向量如圖所示斩萌，在此情形下我們的基向量實(shí)際上是()和()缝裤，因此左乘后得到的基向量為屏轰，即。不難發(fā)現(xiàn)憋飞，x軸方向的基向量擴(kuò)大了三倍霎苗，y軸方向的基向量不變。這就又回到了對角矩陣變換的簡單情形榛做。

這其實(shí)就是所謂的特征向量和特征值的幾何意義唁盏，即對某個基向量而言，左乘一個矩陣M相當(dāng)于左乘一個標(biāo)量检眯，那么變換后的基向量就只發(fā)生伸縮不發(fā)生旋轉(zhuǎn)厘擂。

進(jìn)一步，我們希望變換后的基向量兩兩正交锰瘸，實(shí)際上對稱矩陣的特征向量確實(shí)彼此正交（https://blog.csdn.net/DoctorCuiLab/article/details/82910837）這是很好的性質(zhì)刽严。之所以這么說是因?yàn)槲覀兛梢?strong>很容易的由初始坐標(biāo)軸旋轉(zhuǎn)至變換后的特征向量對應(yīng)的坐標(biāo)軸。

至此避凝，我們已經(jīng)可以知道對稱矩陣運(yùn)算具有的意義舞萄，一個對稱矩陣所表示的線性變換相當(dāng)于：
（1）把標(biāo)準(zhǔn)基上的坐標(biāo)轉(zhuǎn)化為以特征向量為基的坐標(biāo)（坐標(biāo)軸相互正交）
（2）在特征向量的方向上放縮特征值倍（伸縮變換）
（3）再把以特征向量為基的坐標(biāo)轉(zhuǎn)化為標(biāo)準(zhǔn)基上的坐標(biāo)

實(shí)際上以上三步就對應(yīng)著三個矩陣，這就是特征值分解管削，這是非常好的一種分解形式倒脓，原因暫且按下不表。我們現(xiàn)在想推廣這種情形含思，首先崎弃，對于非對稱矩陣如何呢？其實(shí)除了特征向量不正交以外含潘，和上述步驟沒什么差別饲做。但是我們希望變換后的坐標(biāo)系依然正交，因?yàn)檫@種各維度之間的獨(dú)立性便于我們做分析和解釋调鬓。

本例中我們看到，對于非對稱矩陣M來說酌伊，可以找到一組正交基向量腾窝，其左乘M后會得到另一組正交向量。

一般的居砖，對于矩陣M虹脯，我們希望找到一組正交基向量和，使其左乘矩陣M后得到的一組向量仍然彼此正交（對于對稱矩陣來說奏候，特征向量就是滿足條件的和）循集。

上圖很好的表達(dá)了我們的意圖，我們可以看到蔗草，標(biāo)準(zhǔn)正交基和左乘M后的向量依然正交咒彤，在此方向上（相比標(biāo)準(zhǔn)基）伸縮的倍數(shù)即為奇異值疆柔。

以上為奇異值分解的推導(dǎo)，我們看到镶柱，一個矩陣M可以被分解成三個矩陣旷档，我們看一下x左乘M的時候（）會發(fā)生什么事，首先我們的x對應(yīng)的是標(biāo)準(zhǔn)基下的坐標(biāo)歇拆，表示在和軸上的投影鞋屈，即在和這組基上的坐標(biāo)。接下來左乘對角矩陣故觅，就得到了在和這組基上的坐標(biāo)厂庇，最后左乘，得到在標(biāo)準(zhǔn)基下的坐標(biāo)输吏。整個過程清晰明了权旷。

實(shí)際上，如果我們的评也，即變換前后的基相同炼杖，就得到了特征值分解，按上面的表述就是盗迟，我們先找到在特征向量方向上的坐標(biāo)坤邪，然后伸縮特征值倍，最后再還原到標(biāo)準(zhǔn)基下的坐標(biāo)罚缕。

奇異值分解有哪些好處呢艇纺？直觀的幾何解釋如下：

我們看到，原坐標(biāo)系中的單位圓在變換后將變成新坐標(biāo)系中的橢圓邮弹，而我們得到的基向量和對應(yīng)的方向恰為橢圓的長軸和短軸方向黔衡。也就是變化最大和最小的方向，這在應(yīng)用中具有很好的實(shí)際意義腌乡。

接下來我們看一下SVD分解如何得到盟劫。這里借助的是由上面的幾何表示得出的直觀結(jié)論，即我們希望找到的和分別對應(yīng)使得的模最大和最小的与纽÷虑可以證明，這個解是的特征向量急迂，這樣我們就得到了影所。

找到了和，奇異值也就有了僚碎，即猴娩，以奇異值為對角元素得到。

最后我們可以求解確定。至此奇異值分解就完成了卷中。