PS：一直以來(lái)對(duì)SVD分解似懂非懂岭接，此文為譯文名眉，原文以細(xì)致的分析+大量的可視化圖形演示了SVD的幾何意義帚湘。能在有限的篇幅把這個(gè)問(wèn)題講解的如此清晰军洼，實(shí)屬不易巩螃。原文舉了一個(gè)簡(jiǎn)單的圖像處理問(wèn)題，簡(jiǎn)單形象匕争，真心希望路過(guò)的各路朋友能從不同的角度闡述下自己對(duì)SVD實(shí)際意義的理解避乏，比如 個(gè)性化推薦中應(yīng)用了SVD，文本以及Web挖掘的時(shí)候也經(jīng)常會(huì)用到SVD甘桑。
原文：We recommend a singular value decomposition

簡(jiǎn)介

SVD實(shí)際上是數(shù)學(xué)專業(yè)內(nèi)容拍皮，但它現(xiàn)在已經(jīng)滲入到不同的領(lǐng)域中。SVD的過(guò)程不是很好理解跑杭，因?yàn)樗粔蛑庇^铆帽，但它對(duì)矩陣分解的效果卻非常好。比如德谅，Netflix（一個(gè)提供在線電影租賃的公司）曾經(jīng)就懸賞100萬(wàn)美金爹橱，如果誰(shuí)能提高它的電影推薦系統(tǒng)評(píng)分預(yù)測(cè)準(zhǔn)確率提高10%的話。令人驚訝的是窄做，這個(gè)目標(biāo)充滿了挑戰(zhàn)愧驱，來(lái)自世界各地的團(tuán)隊(duì)運(yùn)用了各種不同的技術(shù)慰技。最終的獲勝隊(duì)伍"BellKor's Pragmatic Chaos"采用的核心算法就是基于SVD。
SVD提供了一種非常便捷的矩陣分解方式组砚，能夠發(fā)現(xiàn)數(shù)據(jù)中十分有意思的潛在模式吻商。在這篇文章中，我們將會(huì)提供對(duì)SVD幾何上的理解和一些簡(jiǎn)單的應(yīng)用實(shí)例糟红。

線性變換的幾何意義(The geometry of linear transformations)

讓我們來(lái)看一些簡(jiǎn)單的線性變換例子艾帐，以 2 X 2 的線性變換矩陣為例，首先來(lái)看一個(gè)較為特殊的盆偿，對(duì)角矩陣：

變換的效果如下圖所示陈肛，變換后的平面僅僅是沿 X 水平方面進(jìn)行了拉伸3倍揍鸟，垂直方向是并沒(méi)有發(fā)生變化。

現(xiàn)在看下矩陣

這個(gè)矩陣產(chǎn)生的變換效果如下圖所示

這種變換效果看起來(lái)非常的奇怪句旱，在實(shí)際環(huán)境下很難描述出來(lái)變換的規(guī)律 ( 這里應(yīng)該是指無(wú)法清晰辨識(shí)出旋轉(zhuǎn)的角度阳藻，拉伸的倍數(shù)之類的信息)。還是基于上面的對(duì)稱矩陣谈撒，假設(shè)我們把左邊的平面旋轉(zhuǎn)45度角腥泥，然后再進(jìn)行矩陣 M 的線性變換，效果如下圖所示：

看起來(lái)是不是有點(diǎn)熟悉啃匿？ 對(duì)的蛔外，經(jīng)過(guò) M 線性變換后，跟前面的對(duì)角矩陣的功能是相同的溯乒，都是將網(wǎng)格沿著一個(gè)方向拉伸了3倍夹厌。
這里的 M 是一個(gè)特例，因?yàn)樗菍?duì)稱的裆悄。非特殊的就是我們?cè)趯?shí)際應(yīng)用中經(jīng)常遇見(jiàn)一些 非對(duì)稱的矛纹，非方陣的矩陣。如上圖所示光稼，如果我們有一個(gè) 2 X 2 的對(duì)稱矩陣 M 的話或南，我們先將網(wǎng)格平面旋轉(zhuǎn)一定的角度，M 的變換效果就是在兩個(gè)維度上進(jìn)行拉伸變換了艾君。

用更加數(shù)學(xué)的方式進(jìn)行表示的話采够，給定一個(gè)對(duì)稱矩陣 M ，我們可以找到一些相互正交 Vi 冰垄，滿足 MVi 就是沿著 Vi 方向的拉伸變換蹬癌，公式如下：

Mvi = λi vi

這里的 λi 是拉伸尺度(scalar)。從幾何上看，M 對(duì)向量 Vi 進(jìn)行了拉伸逝薪，映射變換伴奥。Vi 稱作矩陣 M 的特征向量(eigenvector)， λi 稱作為矩陣 M 特征值(eigenvalue)翼闽。這里有一個(gè)非常重要的定理，對(duì)稱矩陣 M 的特征向量是相互正交的洲炊。

如果我們用這些特征向量對(duì)網(wǎng)格平面進(jìn)行線性變換的話感局，再通過(guò) M 矩陣對(duì)網(wǎng)格平面進(jìn)行線性換的效果跟對(duì) M 矩陣的特征向量進(jìn)行線性變換的效果是一樣的。

對(duì)于更為普通的矩陣而言暂衡，我們?cè)撛趺醋霾拍茏屢粋€(gè)原來(lái)就是相互垂直的網(wǎng)格平面(orthogonal grid), 線性變換成另外一個(gè)網(wǎng)格平面同樣垂直呢询微？PS：這里的垂直如圖所示，就是兩根交錯(cuò)的線條是垂直的狂巢。

經(jīng)過(guò)上述矩陣變換以后的效果如圖：

從圖中可以看出撑毛，并沒(méi)有達(dá)到我們想要的效果。我們把網(wǎng)格平面旋轉(zhuǎn) 30 度角的話唧领，然后再進(jìn)行同樣的線性變換以后的效果藻雌，如下圖所示：

讓我們來(lái)看下網(wǎng)格平面旋轉(zhuǎn)60度角的時(shí)候的效果。

嗯嗯斩个，這個(gè)看起來(lái)挺不錯(cuò)的樣子胯杭。如果在精確一點(diǎn)的話，應(yīng)該把網(wǎng)格平面旋轉(zhuǎn) 58.28 度才能達(dá)到理想的效果受啥。

奇異值分解( The singular value decomposition )

該部分是從幾何層面上去理解二維的SVD：對(duì)于任意的 2 x 2 矩陣做个，通過(guò)SVD可以將一個(gè)相互垂直的網(wǎng)格(orthogonal grid)變換到另外一個(gè)相互垂直的網(wǎng)格。

u1 和 u2分別表示Mv1 和 Mv2的單位向量，σ1 * u1 = Mv1 和 σ2 * u2 = Mv2。σ1 和 σ2分別表示這不同方向向量上的模归形，也稱作為矩陣 M 的奇異值漩绵。

u 矩陣的列向量分別是u1,u2 丑孩，Σ 是一個(gè)對(duì)角矩陣冀宴，對(duì)角元素分別是對(duì)應(yīng)的σ1 和 σ2，V 矩陣的列向量分別是v1,v2温学。上角標(biāo) T 表示矩陣 V 的轉(zhuǎn)置略贮。
這就表明任意的矩陣 M 是可以分解成三個(gè)矩陣。V 表示了原始域的標(biāo)準(zhǔn)正交基，u 表示經(jīng)過(guò) M 變換后的co-domain的標(biāo)準(zhǔn)正交基逃延，Σ 表示了V 中的向量與u 中 相對(duì)應(yīng)向量之間的關(guān)系览妖。

如何獲得奇異值分解？( How do we find the singular decomposition? )

事實(shí)上我們可以找到任何矩陣的奇異值分解揽祥，那么我們是如何做到的呢讽膏？假設(shè)在原始域中有一個(gè)單位圓，如下圖所示拄丰。經(jīng)過(guò)M 矩陣變換以后在co-domain中單位圓會(huì)變成一個(gè)橢圓府树，它的長(zhǎng)軸(Mv₁)和短軸(Mv₂)分別對(duì)應(yīng)轉(zhuǎn)換后的兩個(gè)標(biāo)準(zhǔn)正交向量，也是在橢圓范圍內(nèi)最長(zhǎng)和最短的兩個(gè)向量料按。

換句話說(shuō)奄侠，定義在單位圓上的函數(shù)|Mx|分別在v₁和v₂方向上取得最大和最小值。這樣我們就把尋找矩陣的奇異值分解過(guò)程縮小到了優(yōu)化函數(shù)|M_x|上了载矿。結(jié)果發(fā)現(xiàn)（具體的推到過(guò)程這里就不詳細(xì)介紹了）這個(gè)函數(shù)取得最優(yōu)值的向量分別是矩陣 M^T M 的特征向量垄潮。由于M^TM是對(duì)稱矩陣，因此不同特征值對(duì)應(yīng)的特征向量都是互相正交的闷盔，我們用v_i 表示M^TM的所有特征向量弯洗。奇異值σ_i = |Mv_i| ， 向量 u_i 為 Mv_i 方向上的單位向量馁筐。但為什么u_i也是正交的呢涂召？
推倒如下：
σ_i 和 σ_j分別是不同兩個(gè)奇異值:

應(yīng)用實(shí)例(Another example)

實(shí)例一

換句話說(shuō)戏阅，如果某些奇異值非常小的話，其相對(duì)應(yīng)的幾項(xiàng)就可以不同出現(xiàn)在矩陣 M 的分解式中啤它。因此奕筐，我們可以看到矩陣 M 的秩的大小等于非零奇異值的個(gè)數(shù)舱痘。

實(shí)例二
我們來(lái)看一個(gè)奇異值分解在數(shù)據(jù)表達(dá)上的應(yīng)用。假設(shè)我們有如下的一張 15 x 25 的圖像數(shù)據(jù)离赫。

如圖所示芭逝，該圖像主要由下面三部分構(gòu)成。

我們將圖像表示成 15 x 25 的矩陣渊胸，矩陣的元素對(duì)應(yīng)著圖像的不同像素旬盯，如果像素是白色的話，就取 1翎猛，黑色的就取 0. 我們得到了一個(gè)具有375個(gè)元素的矩陣瓢捉，如下圖所示

如果我們對(duì)矩陣M進(jìn)行奇異值分解以后，得到奇異值分別是：
σ₁ = 14.72
σ₂ = 5.22
σ₃ = 3.31
矩陣M就可以表示成：

v_i具有15個(gè)元素办成，u_i 具有25個(gè)元素，σ_i 對(duì)應(yīng)不同的奇異值搂漠。如上圖所示迂卢，我們就可以用123個(gè)元素來(lái)表示具有375個(gè)元素的圖像數(shù)據(jù)了。

實(shí)例三: 減噪(noise reduction)

很明顯抗果，前面三個(gè)奇異值遠(yuǎn)遠(yuǎn)比后面的奇異值要大筋帖，這樣矩陣 M 的分解方式就可以如下:

實(shí)例四: 數(shù)據(jù)分析(data analysis)
我們搜集的數(shù)據(jù)中總是存在噪聲：無(wú)論采用的設(shè)備多精密日麸，方法有多好，總是會(huì)存在一些誤差的逮光。如果你們還記得上文提到的代箭，大的奇異值對(duì)應(yīng)了矩陣中的主要信息的話，運(yùn)用SVD進(jìn)行數(shù)據(jù)分析涕刚，提取其中的主要部分的話嗡综，還是相當(dāng)合理的。
作為例子副女，假如我們搜集的數(shù)據(jù)如下所示：

經(jīng)過(guò)奇異值分解后蛤高，得到:

由于第一個(gè)奇異值遠(yuǎn)比第二個(gè)要大蚣旱，數(shù)據(jù)中有包含一些噪聲，第二個(gè)奇異值在原始矩陣分解相對(duì)應(yīng)的部分可以忽略戴陡。經(jīng)過(guò)SVD分解后塞绿，保留了主要樣本點(diǎn)如圖所示

就保留主要樣本數(shù)據(jù)來(lái)看，該過(guò)程跟PCA( principal component analysis)技術(shù)有一些聯(lián)系恤批，PCA也使用了SVD去檢測(cè)數(shù)據(jù)間依賴和冗余信息.

總結(jié)(Summary)

這篇文章非常的清晰的講解了SVD的幾何意義异吻，不僅從數(shù)學(xué)的角度，還聯(lián)系了幾個(gè)應(yīng)用實(shí)例形象的論述了SVD是如何發(fā)現(xiàn)數(shù)據(jù)中主要信息的喜庞。在 netflix prize中許多團(tuán)隊(duì)都運(yùn)用了矩陣分解的技術(shù)诀浪，該技術(shù)就來(lái)源于SVD的分解思想，矩陣分解算是SVD的變形延都，但思想還是一致的雷猪。之前算是能夠運(yùn)用矩陣分解 技術(shù)于個(gè)性化推薦系統(tǒng)中，但理解起來(lái)不夠直觀晰房，閱讀原文后醍醐灌頂求摇，我想就從SVD能夠發(fā)現(xiàn)數(shù)據(jù)中的主要信息的思路，就幾個(gè)方面去思考下如何利用數(shù)據(jù)中所 蘊(yùn)含的潛在關(guān)系去探索個(gè)性化推薦系統(tǒng)殊者。也希望路過(guò)的各位大俠不吝分享呀与境。

參考文獻(xiàn)

［1］From Singular Value Decomposition