8橱野、行列式

8.1 什么是行列式叫潦？

首先方陣才有行列式五续，我們先來(lái)簡(jiǎn)單回顧一下2*2和3*3的矩陣的行列式：

那行列式代表什么含義呢示启？在二維平面中兢哭，矩陣行列式的絕對(duì)值代表一個(gè)平行四邊形的面積，在三維空間中夫嗓，矩陣行列式的絕對(duì)值代表一個(gè)平行六面體的體積：

8.2 行列式的性質(zhì)

(1)單位矩陣的行列式為1

(2)交換任意的兩行，行列式變號(hào)

(3)對(duì)任意一行來(lái)說(shuō)冲秽，行列式是“線性”的

從ppt上不好翻譯舍咖，但是看圖是很直觀的：

所以，下面的式子是正確的：

同時(shí)：

(4)如果行列式有兩行相等或者是倍數(shù)關(guān)系锉桑，行列式值為0

這個(gè)性質(zhì)也是很直觀的排霉，交換兩行變號(hào)嘛，但是交換的兩行如果是一樣的民轴，那么行列式的值應(yīng)該不變攻柠，-a=a那么a只能是0。

(5)對(duì)角矩陣的行列式等于對(duì)角線上元素的乘積

(6)如果一個(gè)方陣的行列式不為0后裸，那么它是可逆的瑰钮，反之，如果一個(gè)方陣可逆微驶，那么它的行列式不為0

如果一個(gè)矩陣是可逆的浪谴，它可以經(jīng)由初等變換得到單位矩陣开睡，每一次初等變換得到的矩陣的行列式值，相當(dāng)于對(duì)原矩陣的行列式值乘上一個(gè)標(biāo)量苟耻。由于每次乘的標(biāo)量不為0篇恒，所以可以得到原矩陣的行列式值不為0。

(7)det(AB)=det(A)*det(B)

(8)矩陣轉(zhuǎn)置的行列式和原矩陣相同

所以說(shuō)凶杖，剛才的結(jié)論同樣適用于列胁艰。即如果有兩列相同或是倍數(shù)關(guān)系，行列式值同為0智蝠，同時(shí)每一列也是線性的腾么。

8.3 行列式的計(jì)算

我們首先來(lái)介紹余子式和代數(shù)余子式，一個(gè)矩陣的任意一個(gè)元素aij都有對(duì)應(yīng)的余子式寻咒，它就是將第i行和第j列劃掉之后所得到的矩陣的行列式哮翘，用det(Aij)表示：

而cij=(-1)i+jdet(Aij)被稱為代數(shù)余子式。

根據(jù)代數(shù)余子式毛秘，我們可以得到計(jì)算行列式的公式如下：

舉個(gè)3維的例子：

因此饭寺，對(duì)于一個(gè)方陣的行列式，它是n!項(xiàng)的和(n!是n個(gè)元素的全排列的個(gè)數(shù))叫挟，對(duì)于每一項(xiàng)艰匙，它是從每一行選擇一個(gè)元素進(jìn)行相乘，而這些元素分別屬于不同列抹恳。

有了代數(shù)余子式员凝，我們可以得到矩陣A的伴隨矩陣。伴隨矩陣中的每個(gè)元素是原矩陣中該位置元素的代數(shù)余子式：

我們可以進(jìn)一步通過(guò)伴隨矩陣和行列式值來(lái)計(jì)算矩陣的逆：

9奋献、子空間

9.1 子空間

如果一個(gè)向量集合V滿足三個(gè)條件:(1)包含零向量(2)如果u和v屬于V健霹，那么u+v也屬于V(3)如果u屬于V，c是一個(gè)標(biāo)量瓶蚂，那么cu也屬于V撕捍。就稱這個(gè)向量集合V為子空間(subspace):

舉個(gè)例子涯呻，下面的向量集合是一個(gè)子空間：

只有零向量的集合也是一個(gè)子空間，三條性質(zhì)都滿足。

9.2 零空間

對(duì)于一個(gè)矩陣A來(lái)說(shuō)吃度，使得Ax=0的所有x所組成的集合被稱為矩陣A的零空間(Null Space):

9.3 列空間和行空間

列空間(Column Space)是矩陣A的列所張成的空間县昂，行空間(Row Space)是矩陣的行所張成的空間家夺。

在將矩陣化簡(jiǎn)為行階梯型之后猫态，矩陣的列空間是改變的，而行空間不變兆解。

好了馆铁，我們又可以添加一條判斷線性方程組是否有解的條件了，即b是否在A的列空間中痪宰。

10叼架、基Basis

10.1 什么是基Basis

假設(shè)V是Rn的一個(gè)子空間畔裕，能夠張成空間V的一組線性無(wú)關(guān)的向量被稱為基(Basis)。

對(duì)于一個(gè)矩陣來(lái)說(shuō)乖订，其主列是其列空間的基：

10.2 基的特性

基有如下的特性：

(1)基是一個(gè)能張成空間V的數(shù)量最小的向量集合

如果一組向量S能夠張成子空間V扮饶，那么基中包含的向量數(shù)目小于或等于S中向量的數(shù)目。

(2)基是空間中數(shù)量最多的線性無(wú)關(guān)的向量集合

如果子空間V的基中向量的數(shù)量是k乍构，那么你不能找到比k個(gè)多的線性無(wú)關(guān)的向量集合甜无。

(3)子空間中任意的兩組基都包含相同數(shù)目的向量

這個(gè)如何證明呢？

1）假設(shè)子空間V中有兩組基A和B哥遮，個(gè)數(shù)分別是k和p岂丘；

2）因?yàn)锳是子空間中的基，所以B中的所有向量都可以表示成A中向量的線性組合眠饮，即有AC=B奥帘，C的列數(shù)為p，行數(shù)是k仪召；

3）假設(shè)存在一個(gè)p維向量x使得Cx=0寨蹋，所以ACx=Bx=0因?yàn)锽是基，所以Bx=0的解只能是零向量扔茅，所以C也是線性無(wú)關(guān)的已旧；

4）因?yàn)镃中的列向量是k維的，p個(gè)k維的向量線性無(wú)關(guān)召娜，所以一定有p<=k运褪；

5）同理k<=p，所以最終k=p玖瘸，即A和B中向量的個(gè)數(shù)是相同的秸讹。

(4)子空間V的基的向量的數(shù)量被稱為V的維度(dimension)

10.3 判斷一個(gè)集合是否為基

通過(guò)定義，我們可以判斷一個(gè)集合是否為基雅倒，需滿足兩個(gè)條件嗦枢，向量之間線性無(wú)關(guān)，同時(shí)能夠張成空間V屯断，前者容易判斷，后者較難判斷：

另一種思路侣诺，假設(shè)對(duì)于一個(gè)子空間V殖演，我們已經(jīng)知道它的維度為2，如果S是一個(gè)包含k個(gè)vector并且屬于V的一個(gè)子集年鸳，那么如果

1）S中的向量線性無(wú)關(guān)趴久，那么S是一個(gè)基

2）S能夠張成空間V，那么S是一個(gè)基

10.4 三種空間的基和維度

我們之前介紹過(guò)對(duì)于一個(gè)矩陣的三個(gè)空間搔确，行空間彼棍、列空間以及零空間灭忠，他們的基以及維度都是多少呢？

A的列空間

A的列空間的基是主列組成的集合座硕，維度就是主列的個(gè)數(shù)

A的零空間

A的零空間的的維度是Ax=0中自由變量的個(gè)數(shù)弛作，基看下面的圖片：

A的行空間

A的行空間的維度是化簡(jiǎn)為簡(jiǎn)約行階梯型之后非零行的個(gè)數(shù)，基就是簡(jiǎn)約行階梯型中先導(dǎo)元素所在的行所組成集合华匾。

這里我們可以得出一個(gè)結(jié)論映琳，矩陣A和其轉(zhuǎn)置的秩相等：

總結(jié)一下就是下面這樣子啦：

11、坐標(biāo)系

11.1 使用基表示向量

在n維空間中蜘拉，我們可以使用基向量來(lái)表示坐標(biāo)系萨西，這樣空間中的任意向量的坐標(biāo)都確定了，但是對(duì)于同一向量旭旭，使用不同的坐標(biāo)系谎脯，其坐標(biāo)是不同的：

同理，在不同坐標(biāo)系下持寄，同一個(gè)坐標(biāo)所代表的向量也不同：

當(dāng)基確定時(shí)源梭，一個(gè)向量的坐標(biāo)也是唯一的，由于基之間是線性無(wú)關(guān)的际看，因此證明如下：

在某一坐標(biāo)系B下咸产，一個(gè)向量可以表示成其對(duì)應(yīng)的坐標(biāo)表示：

而我們最為常用的一種坐標(biāo)系就是直角坐標(biāo)系(Cartesian coordinate system)，通常表示如下：

那么根據(jù)任意坐標(biāo)系以及某一向量在該坐標(biāo)系下的坐標(biāo)仲闽，如何得到該向量呢脑溢？很簡(jiǎn)單，該向量可以表示成基的線性組合赖欣，系數(shù)即為其坐標(biāo)：

那么屑彻，如何得到某一向量在任意坐標(biāo)系下的坐標(biāo)，兩邊同乘B-1即可：

11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換

其實(shí)我們的向量就是在直角坐標(biāo)系下的坐標(biāo)表示顶吮，所以其實(shí)直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換我們上一節(jié)已經(jīng)講過(guò)：

11.3 坐標(biāo)系與線性方程

我們之前所說(shuō)的線性方程社牲，都是相對(duì)于直角坐標(biāo)系所說(shuō)的，有時(shí)候有些問(wèn)題直接在直角坐標(biāo)系下進(jìn)行求解并不容易悴了，但是轉(zhuǎn)換到另一坐標(biāo)系下就會(huì)變得十分簡(jiǎn)單搏恤，這就得到了通過(guò)坐標(biāo)系轉(zhuǎn)換來(lái)求解問(wèn)題的思路：

我們舉個(gè)例子來(lái)說(shuō)吧，如果下圖中的T表示得到任意一個(gè)向量關(guān)于直線L的對(duì)稱向量：

直接求解這個(gè)問(wèn)題非常難湃交，我們想要找的是一個(gè)矩陣A熟空，使得T(x)=Ax，直線如果不是橫軸或者縱軸的話搞莺，要找到這個(gè)矩陣A是十分困難的息罗。但是如果直線是橫軸或者縱軸的話，這個(gè)問(wèn)題就變得非常簡(jiǎn)單才沧。假設(shè)直線是橫軸迈喉，那么要找的矩陣我們可以很容易寫(xiě)出：

所以我們可以通過(guò)坐標(biāo)系變換绍刮，把直線L變成橫軸，那么問(wèn)題就簡(jiǎn)單了：

所以我們?cè)谥苯亲鴺?biāo)系下的這個(gè)變換矩陣A也就找到了挨摸，此時(shí)我們可以稱兩個(gè)坐標(biāo)系下的變換矩陣是相似矩陣(Similar matrices)：

假設(shè)直線L為y=0.5x孩革，那么求解過(guò)程如下：

12、特征值和特征向量

12.1 什么是特征值和特征向量

好了油坝，在寫(xiě)這一節(jié)之前嫉戚，我們看來(lái)想一下上一節(jié)的東西，我們說(shuō)一個(gè)直角坐標(biāo)系下的向量v澈圈， 其在另一個(gè)坐標(biāo)系下的坐標(biāo)表示為Bv彬檀，這個(gè)B是該坐標(biāo)系下的基所做成的矩陣，所以說(shuō)矩陣可以表示一種線性變換(Linear Transformation)瞬女，它將一個(gè)向量在直角坐標(biāo)系下的坐標(biāo)表示轉(zhuǎn)換為另一坐標(biāo)系下的坐標(biāo)表示窍帝！

我們知道，任意非零向量都可以張成一條直線诽偷，有的向量在一個(gè)矩陣A作用后坤学，偏離了其所張成的空間；但有的向量在矩陣A作用后报慕，還是在原有張成的空間深浮，矩陣A只是對(duì)該向量起到了一定的伸縮作用，那么我們就說(shuō)該向量是矩陣A的特征向量(Eigenvector)眠冈，而這個(gè)伸縮作用的大小我們就稱為特征值(Eigenvalue)飞苇。所以我們知道，該向量所張成空間中的所有向量(零向量除外)都是該矩陣的特征向量蜗顽。下面的例子中布卡，經(jīng)過(guò)變換后橫軸沒(méi)有發(fā)生變化，所以橫軸的向量都是特征向量雇盖，特征值為1忿等。

好了，我們可以給出特征值和特征向量的定義了：

12.2 如何計(jì)算特征向量

假設(shè)我們已經(jīng)知道了特征值λ崔挖，我們可以根據(jù)Av=λv求解其對(duì)應(yīng)的特征向量：

而某一特征值λ的特征空間(Eigenspace)定義為(A-λIn)v=0的解集：

Eigenspace也可以說(shuō)是λ所對(duì)應(yīng)的特征向量再加上零向量(特征向量不能是零向量)

12.3 檢查一個(gè)標(biāo)量是否為特征值

檢查一個(gè)標(biāo)量是否為特征值贸街，只需要判斷其對(duì)應(yīng)的特征空間是否只有零向量即可：

12.4 計(jì)算特征值

如果一個(gè)標(biāo)量是矩陣A的特征值，那么他會(huì)滿足下面所有的條件：

那么如何計(jì)算一個(gè)矩陣的特征值呢狸相，這里要使用特征多項(xiàng)式(Characteristic Polynomial)匾浪，特征值是特征多項(xiàng)式的根。即：

舉個(gè)例子：

這里我們可以得到一個(gè)性質(zhì)卷哩，兩個(gè)相似矩陣的特征值是相同的，證明如下：

那么一個(gè)n階方陣有多少特征值呢属拾？最多n個(gè)将谊。如果一個(gè)n階方陣有n個(gè)特征值(包括重復(fù)值)冷溶，那么這n個(gè)特征值的的和等于矩陣的跡(trace,即矩陣主對(duì)角線的元素之和)，同時(shí)尊浓，這n個(gè)特征值的乘積等于矩陣的行列式逞频。

對(duì)特征多項(xiàng)式進(jìn)行因式分解，我們可以得到如下重要的結(jié)論栋齿，一個(gè)特征值對(duì)應(yīng)的特征空間的維度苗胀，小于等于該特征值重復(fù)出現(xiàn)的次數(shù)。

舉例來(lái)說(shuō)：

12.5 正定矩陣&半正定矩陣

如果一個(gè)矩陣的所有特征值都大于0瓦堵，那么這個(gè)矩陣被稱為正定矩陣(positive definite matrix)基协，如過(guò)特征值都大于等于0，則稱為半正定矩陣菇用。

那么正定或者半正定矩陣的含義是什么呢澜驮？這里我們以正定矩陣為例。我們知道一個(gè)矩陣的A代表一種線性變化惋鸥，那么如果一個(gè)矩陣是正定的杂穷，就有xTAx>0,假設(shè)x在經(jīng)過(guò)A的變換后變?yōu)閥，那么xTy>0卦绣，即x和y的內(nèi)積大于0,或者說(shuō)夾角小于90度耐量。所以正定矩陣的直覺(jué)代表一個(gè)向量經(jīng)過(guò)它的變化后的向量與其本身的夾角小于90度。

13滤港、對(duì)角化

13.1 可對(duì)角化

如果一個(gè)n階方陣A可以變?yōu)锳=PDP-1,其中D是n階對(duì)角矩陣廊蜒，P是n階可逆方陣，那么A就是可對(duì)角化的(diagonalizable)蜗搔。但并非所有的矩陣都可以進(jìn)行對(duì)角化：

如果A是可對(duì)角化的劲藐，那么P中的列向量是A的特征向量，D中對(duì)角線元素是A的特征值樟凄，證明如下：

同時(shí)聘芜，我們可以得到如下結(jié)論：

13.2 可對(duì)角化的性質(zhì)

本節(jié)我們介紹幾個(gè)重要的性質(zhì)，

1)不同特征值對(duì)應(yīng)的特征向量之間線性無(wú)關(guān)缝龄。

2)如果一個(gè)矩陣A可對(duì)角化汰现，那么其特征值對(duì)應(yīng)的特征空間的維度，等于該特征值重復(fù)出現(xiàn)的次數(shù)叔壤。

3)如果一個(gè)矩陣A可對(duì)角化瞎饲，那么Am= PDmP-1。

我們首先來(lái)看第一個(gè)性質(zhì)：

我們可以假設(shè)他們之間線性相關(guān)來(lái)進(jìn)行反證：

再來(lái)看第二個(gè)性質(zhì)：

14炼绘、正交

14.1 范數(shù)和距離

我們常用范數(shù)(Norm)來(lái)表示矩陣的長(zhǎng)度嗅战，其中最常用的是二范數(shù)：

兩個(gè)向量的距離，我們使用的一般是歐式距離：

14.2 點(diǎn)積和正交

點(diǎn)積(Dot Product)的計(jì)算如下：

兩個(gè)向量是正交的(Orthogonal)，如果兩個(gè)向量的點(diǎn)積是0驮捍，那么零向量和任何向量都是正交的疟呐。

點(diǎn)積具有如下的性質(zhì)：

同時(shí)，如果兩個(gè)向量是正交的东且，那么有如下性質(zhì)：

在三角形中启具，我們有著名的三角不等式，兩條邊長(zhǎng)度之和大于第三條邊的長(zhǎng)度珊泳，所以我們有：

14.3 正交補(bǔ)

對(duì)于一個(gè)非空的向量集合S鲁冯，該集合的正交補(bǔ)(Orthogonal Complement)定義為：

關(guān)于正交補(bǔ)，我們有如下性質(zhì)：

所以說(shuō)色查，對(duì)于n維空間中的向量薯演，我們都可以進(jìn)行拆解：

14.4 正交投影

正交投影(Orthogonal Projection)通過(guò)下面的圖片很容易理解,如果向量u像子空間W做正交投影，其投影的結(jié)果就是w综慎。

正交投影有一個(gè)很重要的性質(zhì)就是涣仿，u在子空間W上的正交投影向量，是與u距離最近的示惊，觀察下圖可以看出好港，直角三角形斜邊的長(zhǎng)度總是大于直角邊的：

14.5 如何做正交投影

如何得到一個(gè)向量在另一個(gè)子空間上的正交投影呢，從一個(gè)向量得到另一個(gè)向量米罚，我們不妨中間乘了一個(gè)變換矩陣Pw钧汹，即w=Pwu。所以關(guān)鍵是變成如何尋找這個(gè)矩陣

Pw录择。

好了拔莱，我們這里直接給出結(jié)論，然后再進(jìn)行證明：

證明如下隘竭，證明中的第一步是因?yàn)閡-w是垂直于子空間W中所有向量的塘秦，因此自然垂直于C中所有的列向量，因此CT(u-w)=0：

14.6 正交投影的應(yīng)用-求解線性回歸

如果對(duì)于無(wú)解的線性方程組Ax=b动看，我們退而求其次尊剔，在A的列所張成的空間中找一個(gè)距離b最近的向量，其實(shí)就是b在A上的正交投影菱皆。

這個(gè)思想可以用在我們機(jī)器學(xué)習(xí)中的線性回歸中须误。在進(jìn)行線性回歸時(shí)，我們往往希望殘差平方和最小仇轻，即：

這里的C是我們的訓(xùn)練數(shù)據(jù)京痢，訓(xùn)練數(shù)據(jù)的矩陣表示相當(dāng)于線性方程組的A，要找的參數(shù)a相當(dāng)于線性方程組的x篷店，實(shí)際值y相當(dāng)于線性方程組的b祭椰。根據(jù)我們上一節(jié)求解正交投影的方式，Ca的值應(yīng)該等于y在C張成空間中的正交投影，因此吭产，我們可以直接計(jì)算得到參數(shù)的值：

14.7 正交基

如果一組向量中任意兩個(gè)向量都是正交的侣监，那么我們可以稱這組向量為正交集(Orthogonal Set)。不含零向量的正交集中的向量是線性無(wú)關(guān)的臣淤，證明如下：

如果正交集中所有的向量長(zhǎng)度都為1，那么這個(gè)集合被稱為標(biāo)準(zhǔn)正交集(Orthonormal Set)窃爷，標(biāo)準(zhǔn)正交集中的向量當(dāng)然也是線性無(wú)關(guān)的邑蒋。

因?yàn)檎患瘶?biāo)準(zhǔn)正交集中的向量是線性無(wú)關(guān)的，那么如果一個(gè)子空間的基是正交／標(biāo)準(zhǔn)正交的按厘，那么這個(gè)基被稱為正交基(Orthogonal Basis)/標(biāo)準(zhǔn)正交基(Orthonormal Basis)医吊。

如果一個(gè)基是正交的，那么我們可以很快的求解出子空間中一個(gè)向量的坐標(biāo)：

如果u是任意向量逮京，那么u在子空間中的正交投影也很容易計(jì)算得出：

我們可以將我們之前得到的投影變換矩陣進(jìn)行改寫(xiě)：

如何把一個(gè)普通的基轉(zhuǎn)換為正交基呢卿堂，方法如下：

14.8 正交矩陣

我們之前提到過(guò)，矩陣其實(shí)代表一種線性變換懒棉，如果將這種變換作用在任意的向量u上草描，不改變向量u的長(zhǎng)度的話，我們就說(shuō)該線性變換具有Norm-preserving(這里不清楚怎么翻譯策严，暫且翻譯為范數(shù)不變性)穗慕。注意，這樣的u是任意的向量妻导，比如旋轉(zhuǎn)和對(duì)稱反轉(zhuǎn)操作就不會(huì)改變?nèi)魏蜗蛄康姆稊?shù)：

顯然逛绵，具有范數(shù)不變性的矩陣，其必有一個(gè)特征值為+1或者-1 倔韭。

一個(gè)n階的方陣Q术浪，如果它的列是可以張成n維空間的標(biāo)準(zhǔn)正交基，我們就稱Q為正交矩陣(orthogonal matrix)寿酌。

例如胰苏，下面的矩陣就是一個(gè)正交矩陣：

范數(shù)不變性和正交矩陣是什么關(guān)系呢？答案是：如果一個(gè)矩陣具有范數(shù)不變性份名，那么它是正交矩陣碟联，反之如果一個(gè)矩陣是正交矩陣，那么該矩陣具有范數(shù)不變性僵腺。接下來(lái)鲤孵，我們分別證明這兩點(diǎn)。

第一點(diǎn)：如果一個(gè)矩陣具有范數(shù)不變性辰如，那么它是正交矩陣

證明一個(gè)矩陣是正交矩陣無(wú)非就是證明兩點(diǎn)普监，每一列的長(zhǎng)度都為1，任意兩列都是正交的。

證明每一列長(zhǎng)度都為1:

證明任意兩列正交：

第二點(diǎn)：如果一個(gè)矩陣是正交矩陣凯正，那么該矩陣具有范數(shù)不變性

首先毙玻，我們很容易知道，對(duì)于一個(gè)正交矩陣Q廊散，QT=Q-1桑滩，根據(jù)下面的推導(dǎo)可以得到正交矩陣一定具有范數(shù)不變性：

剛才我們說(shuō)到了，對(duì)于一個(gè)正交矩陣Q允睹，QT=Q-1运准，這個(gè)條件其實(shí)可以用來(lái)判斷一個(gè)矩陣是否為正交矩陣。根據(jù)這個(gè)條件缭受，可以得到胁澳，如果一個(gè)矩陣是正交矩陣，那么其轉(zhuǎn)置仍然是正交矩陣米者。這時(shí)我們只要檢查一下(QT)T=(QT)-1是否成立就好了韭畸。很顯然是成立的，因?yàn)檗D(zhuǎn)置的逆等于逆的轉(zhuǎn)置蔓搞。

所以對(duì)一個(gè)正交矩陣胰丁，有如下三點(diǎn)性質(zhì)：

1)行和列都是正交的范數(shù)為1的向量

2)范數(shù)不變性

3)其轉(zhuǎn)置等于其逆矩陣

14.9 對(duì)稱矩陣

如果一個(gè)矩陣的轉(zhuǎn)置等于其本身，那么這個(gè)矩陣被稱為對(duì)稱矩陣(symmetric matrices)败明。

對(duì)于對(duì)稱矩陣來(lái)說(shuō)隘马，它的特征值都是實(shí)數(shù)：

同時(shí)，不同的特征根所對(duì)應(yīng)的特征向量妻顶，是正交的：

對(duì)稱矩陣一定是可以對(duì)角化的(相關(guān)的證明網(wǎng)上可以找到酸员，這里就不證明了)，我們之前介紹過(guò)讳嘱，對(duì)于一個(gè)可對(duì)角化的矩陣幔嗦，它的特征向量之間都是線性無(wú)關(guān)的，根據(jù)這個(gè)性質(zhì)沥潭，如果一個(gè)n階對(duì)稱陣有n個(gè)不同特征值的話邀泉，其對(duì)應(yīng)的特征向量是兩兩正交的，那么其組成的矩陣就可以是一個(gè)正交矩陣钝鸽，如果存在重根汇恤，其對(duì)應(yīng)的特征向量之間不一定是正交的，但總是可以通過(guò)正交化的方式轉(zhuǎn)換成正交的拔恰。因此對(duì)于對(duì)稱矩陣來(lái)說(shuō)因谎，之前講過(guò)的對(duì)角化的方式可以變?yōu)椋?/p>

15、奇異值分解

15.1 什么是奇異值分解颜懊？

我們之前介紹的對(duì)角化财岔，只能針對(duì)方陣风皿，那么對(duì)于非方陣來(lái)說(shuō)，我們可不可以用類似對(duì)角化的方式對(duì)矩陣進(jìn)行分解呢匠璧？這里就用到了奇異值分解(Singular value decomposition ,SVD)的技術(shù)桐款。

奇異值分解如下，一個(gè)m*n的矩陣A可以分解為一個(gè)m階的正交矩陣夷恍，一個(gè)m*n的對(duì)角矩陣(類似于對(duì)角矩陣吧)和一個(gè)n階的正交矩陣：

那這三個(gè)矩陣分別要怎么求呢魔眨？我們參考劉建平老師的文章(https://www.cnblogs.com/pinard/p/6251584.html)：

奇異值通常用于降維，也就是說(shuō)酿雪，我們不需要所有的奇異值來(lái)描述矩陣冰沙，而是通過(guò)少數(shù)的幾個(gè)比較大的奇異值就可以，此時(shí)效果如下：

好了执虹，本文的線性代數(shù)知識(shí)就帶你復(fù)習(xí)到這里，真的建議大家去聽(tīng)一下李宏毅老師的線性代數(shù)課唠梨，講的還是十分清晰的袋励。

參考文獻(xiàn)

1、http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html

2当叭、https://www.cnblogs.com/pinard/p/6251584.html

作者：石曉文的學(xué)習(xí)日記

鏈接：http://www.reibang.com/p/21aea5108d83

來(lái)源：簡(jiǎn)書(shū)

簡(jiǎn)書(shū)著作權(quán)歸作者所有茬故，任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。