線性代數(shù)知識(shí)點(diǎn)整理 II

8橱野、行列式

8.1 什么是行列式叫潦?

首先方陣才有行列式五续,我們先來(lái)簡(jiǎn)單回顧一下2*2和3*3的矩陣的行列式:

那行列式代表什么含義呢示启?在二維平面中兢哭,矩陣行列式的絕對(duì)值代表一個(gè)平行四邊形的面積,在三維空間中夫嗓,矩陣行列式的絕對(duì)值代表一個(gè)平行六面體的體積:

8.2 行列式的性質(zhì)

(1)單位矩陣的行列式為1

(2)交換任意的兩行,行列式變號(hào)

(3)對(duì)任意一行來(lái)說(shuō)冲秽,行列式是“線性”的

從ppt上不好翻譯舍咖,但是看圖是很直觀的:

所以,下面的式子是正確的:

同時(shí):

(4)如果行列式有兩行相等或者是倍數(shù)關(guān)系锉桑,行列式值為0

這個(gè)性質(zhì)也是很直觀的排霉,交換兩行變號(hào)嘛,但是交換的兩行如果是一樣的民轴,那么行列式的值應(yīng)該不變攻柠,-a=a那么a只能是0。

(5)對(duì)角矩陣的行列式等于對(duì)角線上元素的乘積

(6)如果一個(gè)方陣的行列式不為0后裸,那么它是可逆的瑰钮,反之,如果一個(gè)方陣可逆微驶,那么它的行列式不為0

如果一個(gè)矩陣是可逆的浪谴,它可以經(jīng)由初等變換得到單位矩陣开睡,每一次初等變換得到的矩陣的行列式值,相當(dāng)于對(duì)原矩陣的行列式值乘上一個(gè)標(biāo)量苟耻。由于每次乘的標(biāo)量不為0篇恒,所以可以得到原矩陣的行列式值不為0。

(7)det(AB)=det(A)*det(B)

(8)矩陣轉(zhuǎn)置的行列式和原矩陣相同

所以說(shuō)凶杖,剛才的結(jié)論同樣適用于列胁艰。即如果有兩列相同或是倍數(shù)關(guān)系,行列式值同為0智蝠,同時(shí)每一列也是線性的腾么。

8.3 行列式的計(jì)算

我們首先來(lái)介紹余子式和代數(shù)余子式,一個(gè)矩陣的任意一個(gè)元素aij都有對(duì)應(yīng)的余子式寻咒,它就是將第i行和第j列劃掉之后所得到的矩陣的行列式哮翘,用det(Aij)表示:

而cij=(-1)i+jdet(Aij)被稱為代數(shù)余子式。

根據(jù)代數(shù)余子式毛秘,我們可以得到計(jì)算行列式的公式如下:

舉個(gè)3維的例子:

因此饭寺,對(duì)于一個(gè)方陣的行列式,它是n!項(xiàng)的和(n!是n個(gè)元素的全排列的個(gè)數(shù))叫挟,對(duì)于每一項(xiàng)艰匙,它是從每一行選擇一個(gè)元素進(jìn)行相乘,而這些元素分別屬于不同列抹恳。

有了代數(shù)余子式员凝,我們可以得到矩陣A的伴隨矩陣。伴隨矩陣中的每個(gè)元素是原矩陣中該位置元素的代數(shù)余子式:

我們可以進(jìn)一步通過(guò)伴隨矩陣和行列式值來(lái)計(jì)算矩陣的逆:

9奋献、子空間

9.1 子空間

如果一個(gè)向量集合V滿足三個(gè)條件:(1)包含零向量(2)如果u和v屬于V健霹,那么u+v也屬于V(3)如果u屬于V,c是一個(gè)標(biāo)量瓶蚂,那么cu也屬于V撕捍。就稱這個(gè)向量集合V為子空間(subspace):

舉個(gè)例子涯呻,下面的向量集合是一個(gè)子空間:

只有零向量的集合也是一個(gè)子空間,三條性質(zhì)都滿足。

9.2 零空間

對(duì)于一個(gè)矩陣A來(lái)說(shuō)吃度,使得Ax=0的所有x所組成的集合被稱為矩陣A的零空間(Null Space):

9.3 列空間和行空間

列空間(Column Space)是矩陣A的列所張成的空間县昂,行空間(Row Space)是矩陣的行所張成的空間家夺。

在將矩陣化簡(jiǎn)為行階梯型之后猫态,矩陣的列空間是改變的,而行空間不變兆解。

好了馆铁,我們又可以添加一條判斷線性方程組是否有解的條件了,即b是否在A的列空間中痪宰。

10叼架、基Basis

10.1 什么是基Basis

假設(shè)V是Rn的一個(gè)子空間畔裕,能夠張成空間V的一組線性無(wú)關(guān)的向量被稱為基(Basis)

對(duì)于一個(gè)矩陣來(lái)說(shuō)乖订,其主列是其列空間的基:

10.2 基的特性

基有如下的特性:

(1)基是一個(gè)能張成空間V的數(shù)量最小的向量集合

如果一組向量S能夠張成子空間V扮饶,那么基中包含的向量數(shù)目小于或等于S中向量的數(shù)目。

(2)基是空間中數(shù)量最多的線性無(wú)關(guān)的向量集合

如果子空間V的基中向量的數(shù)量是k乍构,那么你不能找到比k個(gè)多的線性無(wú)關(guān)的向量集合甜无。

(3)子空間中任意的兩組基都包含相同數(shù)目的向量

這個(gè)如何證明呢?

1)假設(shè)子空間V中有兩組基A和B哥遮,個(gè)數(shù)分別是k和p岂丘;

2)因?yàn)锳是子空間中的基,所以B中的所有向量都可以表示成A中向量的線性組合眠饮,即有AC=B奥帘,C的列數(shù)為p,行數(shù)是k仪召;

3)假設(shè)存在一個(gè)p維向量x使得Cx=0寨蹋,所以ACx=Bx=0因?yàn)锽是基,所以Bx=0的解只能是零向量扔茅,所以C也是線性無(wú)關(guān)的已旧;

4)因?yàn)镃中的列向量是k維的,p個(gè)k維的向量線性無(wú)關(guān)召娜,所以一定有p<=k运褪;

5)同理k<=p,所以最終k=p玖瘸,即A和B中向量的個(gè)數(shù)是相同的秸讹。

(4)子空間V的基的向量的數(shù)量被稱為V的維度(dimension)

10.3 判斷一個(gè)集合是否為基

通過(guò)定義,我們可以判斷一個(gè)集合是否為基雅倒,需滿足兩個(gè)條件嗦枢,向量之間線性無(wú)關(guān),同時(shí)能夠張成空間V屯断,前者容易判斷,后者較難判斷:

另一種思路侣诺,假設(shè)對(duì)于一個(gè)子空間V殖演,我們已經(jīng)知道它的維度為2,如果S是一個(gè)包含k個(gè)vector并且屬于V的一個(gè)子集年鸳,那么如果

1)S中的向量線性無(wú)關(guān)趴久,那么S是一個(gè)基

2)S能夠張成空間V,那么S是一個(gè)基

10.4 三種空間的基和維度

我們之前介紹過(guò)對(duì)于一個(gè)矩陣的三個(gè)空間搔确,行空間彼棍、列空間以及零空間灭忠,他們的基以及維度都是多少呢?

A的列空間

A的列空間的基是主列組成的集合座硕,維度就是主列的個(gè)數(shù)

A的零空間

A的零空間的的維度是Ax=0中自由變量的個(gè)數(shù)弛作,基看下面的圖片:

A的行空間

A的行空間的維度是化簡(jiǎn)為簡(jiǎn)約行階梯型之后非零行的個(gè)數(shù),基就是簡(jiǎn)約行階梯型中先導(dǎo)元素所在的行所組成集合华匾。

這里我們可以得出一個(gè)結(jié)論映琳,矩陣A和其轉(zhuǎn)置的秩相等:

總結(jié)一下就是下面這樣子啦:

11、坐標(biāo)系

11.1 使用基表示向量

在n維空間中蜘拉,我們可以使用基向量來(lái)表示坐標(biāo)系萨西,這樣空間中的任意向量的坐標(biāo)都確定了,但是對(duì)于同一向量旭旭,使用不同的坐標(biāo)系谎脯,其坐標(biāo)是不同的:

同理,在不同坐標(biāo)系下持寄,同一個(gè)坐標(biāo)所代表的向量也不同:

當(dāng)基確定時(shí)源梭,一個(gè)向量的坐標(biāo)也是唯一的,由于基之間是線性無(wú)關(guān)的际看,因此證明如下:

在某一坐標(biāo)系B下咸产,一個(gè)向量可以表示成其對(duì)應(yīng)的坐標(biāo)表示:

而我們最為常用的一種坐標(biāo)系就是直角坐標(biāo)系(Cartesian coordinate system),通常表示如下:

那么根據(jù)任意坐標(biāo)系以及某一向量在該坐標(biāo)系下的坐標(biāo)仲闽,如何得到該向量呢脑溢?很簡(jiǎn)單,該向量可以表示成基的線性組合赖欣,系數(shù)即為其坐標(biāo):

那么屑彻,如何得到某一向量在任意坐標(biāo)系下的坐標(biāo),兩邊同乘B-1即可:

11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換

其實(shí)我們的向量就是在直角坐標(biāo)系下的坐標(biāo)表示顶吮,所以其實(shí)直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換我們上一節(jié)已經(jīng)講過(guò):

11.3 坐標(biāo)系與線性方程

我們之前所說(shuō)的線性方程社牲,都是相對(duì)于直角坐標(biāo)系所說(shuō)的,有時(shí)候有些問(wèn)題直接在直角坐標(biāo)系下進(jìn)行求解并不容易悴了,但是轉(zhuǎn)換到另一坐標(biāo)系下就會(huì)變得十分簡(jiǎn)單搏恤,這就得到了通過(guò)坐標(biāo)系轉(zhuǎn)換來(lái)求解問(wèn)題的思路:

我們舉個(gè)例子來(lái)說(shuō)吧,如果下圖中的T表示得到任意一個(gè)向量關(guān)于直線L的對(duì)稱向量:

直接求解這個(gè)問(wèn)題非常難湃交,我們想要找的是一個(gè)矩陣A熟空,使得T(x)=Ax,直線如果不是橫軸或者縱軸的話搞莺,要找到這個(gè)矩陣A是十分困難的息罗。但是如果直線是橫軸或者縱軸的話,這個(gè)問(wèn)題就變得非常簡(jiǎn)單才沧。假設(shè)直線是橫軸迈喉,那么要找的矩陣我們可以很容易寫(xiě)出:

所以我們可以通過(guò)坐標(biāo)系變換绍刮,把直線L變成橫軸,那么問(wèn)題就簡(jiǎn)單了:

所以我們?cè)谥苯亲鴺?biāo)系下的這個(gè)變換矩陣A也就找到了挨摸,此時(shí)我們可以稱兩個(gè)坐標(biāo)系下的變換矩陣是相似矩陣(Similar matrices)

假設(shè)直線L為y=0.5x孩革,那么求解過(guò)程如下:

12、特征值和特征向量

12.1 什么是特征值和特征向量

好了油坝,在寫(xiě)這一節(jié)之前嫉戚,我們看來(lái)想一下上一節(jié)的東西,我們說(shuō)一個(gè)直角坐標(biāo)系下的向量v澈圈, 其在另一個(gè)坐標(biāo)系下的坐標(biāo)表示為Bv彬檀,這個(gè)B是該坐標(biāo)系下的基所做成的矩陣,所以說(shuō)矩陣可以表示一種線性變換(Linear Transformation)瞬女,它將一個(gè)向量在直角坐標(biāo)系下的坐標(biāo)表示轉(zhuǎn)換為另一坐標(biāo)系下的坐標(biāo)表示窍帝!

我們知道,任意非零向量都可以張成一條直線诽偷,有的向量在一個(gè)矩陣A作用后坤学,偏離了其所張成的空間;但有的向量在矩陣A作用后报慕,還是在原有張成的空間深浮,矩陣A只是對(duì)該向量起到了一定的伸縮作用,那么我們就說(shuō)該向量是矩陣A的特征向量(Eigenvector)眠冈,而這個(gè)伸縮作用的大小我們就稱為特征值(Eigenvalue)飞苇。所以我們知道,該向量所張成空間中的所有向量(零向量除外)都是該矩陣的特征向量蜗顽。下面的例子中布卡,經(jīng)過(guò)變換后橫軸沒(méi)有發(fā)生變化,所以橫軸的向量都是特征向量雇盖,特征值為1忿等。

好了,我們可以給出特征值和特征向量的定義了:

12.2 如何計(jì)算特征向量

假設(shè)我們已經(jīng)知道了特征值λ崔挖,我們可以根據(jù)Av=λv求解其對(duì)應(yīng)的特征向量:

而某一特征值λ的特征空間(Eigenspace)定義為(A-λIn)v=0的解集:

Eigenspace也可以說(shuō)是λ所對(duì)應(yīng)的特征向量再加上零向量(特征向量不能是零向量)

12.3 檢查一個(gè)標(biāo)量是否為特征值

檢查一個(gè)標(biāo)量是否為特征值贸街,只需要判斷其對(duì)應(yīng)的特征空間是否只有零向量即可:

12.4 計(jì)算特征值

如果一個(gè)標(biāo)量是矩陣A的特征值,那么他會(huì)滿足下面所有的條件:

那么如何計(jì)算一個(gè)矩陣的特征值呢狸相,這里要使用特征多項(xiàng)式(Characteristic Polynomial)匾浪,特征值是特征多項(xiàng)式的根。即:

舉個(gè)例子:

這里我們可以得到一個(gè)性質(zhì)卷哩,兩個(gè)相似矩陣的特征值是相同的,證明如下:

那么一個(gè)n階方陣有多少特征值呢属拾?最多n個(gè)将谊。如果一個(gè)n階方陣有n個(gè)特征值(包括重復(fù)值)冷溶,那么這n個(gè)特征值的的和等于矩陣的跡(trace,即矩陣主對(duì)角線的元素之和),同時(shí)尊浓,這n個(gè)特征值的乘積等于矩陣的行列式逞频。

對(duì)特征多項(xiàng)式進(jìn)行因式分解,我們可以得到如下重要的結(jié)論栋齿,一個(gè)特征值對(duì)應(yīng)的特征空間的維度苗胀,小于等于該特征值重復(fù)出現(xiàn)的次數(shù)。

舉例來(lái)說(shuō):

12.5 正定矩陣&半正定矩陣

如果一個(gè)矩陣的所有特征值都大于0瓦堵,那么這個(gè)矩陣被稱為正定矩陣(positive definite matrix)基协,如過(guò)特征值都大于等于0,則稱為半正定矩陣菇用。

那么正定或者半正定矩陣的含義是什么呢澜驮?這里我們以正定矩陣為例。我們知道一個(gè)矩陣的A代表一種線性變化惋鸥,那么如果一個(gè)矩陣是正定的杂穷,就有xTAx>0,假設(shè)x在經(jīng)過(guò)A的變換后變?yōu)閥,那么xTy>0卦绣,即x和y的內(nèi)積大于0,或者說(shuō)夾角小于90度耐量。所以正定矩陣的直覺(jué)代表一個(gè)向量經(jīng)過(guò)它的變化后的向量與其本身的夾角小于90度。

13滤港、對(duì)角化

13.1 可對(duì)角化

如果一個(gè)n階方陣A可以變?yōu)锳=PDP-1,其中D是n階對(duì)角矩陣廊蜒,P是n階可逆方陣,那么A就是可對(duì)角化的(diagonalizable)蜗搔。但并非所有的矩陣都可以進(jìn)行對(duì)角化:

如果A是可對(duì)角化的劲藐,那么P中的列向量是A的特征向量,D中對(duì)角線元素是A的特征值樟凄,證明如下:

同時(shí)聘芜,我們可以得到如下結(jié)論:

13.2 可對(duì)角化的性質(zhì)

本節(jié)我們介紹幾個(gè)重要的性質(zhì),

1)不同特征值對(duì)應(yīng)的特征向量之間線性無(wú)關(guān)缝龄。

2)如果一個(gè)矩陣A可對(duì)角化汰现,那么其特征值對(duì)應(yīng)的特征空間的維度,等于該特征值重復(fù)出現(xiàn)的次數(shù)叔壤。

3)如果一個(gè)矩陣A可對(duì)角化瞎饲,那么Am= PDmP-1。

我們首先來(lái)看第一個(gè)性質(zhì):

我們可以假設(shè)他們之間線性相關(guān)來(lái)進(jìn)行反證:

再來(lái)看第二個(gè)性質(zhì):

14炼绘、正交

14.1 范數(shù)和距離

我們常用范數(shù)(Norm)來(lái)表示矩陣的長(zhǎng)度嗅战,其中最常用的是二范數(shù):

兩個(gè)向量的距離,我們使用的一般是歐式距離:

14.2 點(diǎn)積和正交

點(diǎn)積(Dot Product)的計(jì)算如下:

兩個(gè)向量是正交的(Orthogonal),如果兩個(gè)向量的點(diǎn)積是0驮捍,那么零向量和任何向量都是正交的疟呐。

點(diǎn)積具有如下的性質(zhì):

同時(shí),如果兩個(gè)向量是正交的东且,那么有如下性質(zhì):

在三角形中启具,我們有著名的三角不等式,兩條邊長(zhǎng)度之和大于第三條邊的長(zhǎng)度珊泳,所以我們有:

14.3 正交補(bǔ)

對(duì)于一個(gè)非空的向量集合S鲁冯,該集合的正交補(bǔ)(Orthogonal Complement)定義為:

關(guān)于正交補(bǔ),我們有如下性質(zhì):

所以說(shuō)色查,對(duì)于n維空間中的向量薯演,我們都可以進(jìn)行拆解:

14.4 正交投影

正交投影(Orthogonal Projection)通過(guò)下面的圖片很容易理解,如果向量u像子空間W做正交投影,其投影的結(jié)果就是w综慎。

正交投影有一個(gè)很重要的性質(zhì)就是涣仿,u在子空間W上的正交投影向量,是與u距離最近的示惊,觀察下圖可以看出好港,直角三角形斜邊的長(zhǎng)度總是大于直角邊的:

14.5 如何做正交投影

如何得到一個(gè)向量在另一個(gè)子空間上的正交投影呢,從一個(gè)向量得到另一個(gè)向量米罚,我們不妨中間乘了一個(gè)變換矩陣Pw钧汹,即w=Pwu。所以關(guān)鍵是變成如何尋找這個(gè)矩陣

Pw录择。

好了拔莱,我們這里直接給出結(jié)論,然后再進(jìn)行證明:

證明如下隘竭,證明中的第一步是因?yàn)閡-w是垂直于子空間W中所有向量的塘秦,因此自然垂直于C中所有的列向量,因此CT(u-w)=0:

14.6 正交投影的應(yīng)用-求解線性回歸

如果對(duì)于無(wú)解的線性方程組Ax=b动看,我們退而求其次尊剔,在A的列所張成的空間中找一個(gè)距離b最近的向量,其實(shí)就是b在A上的正交投影菱皆。

這個(gè)思想可以用在我們機(jī)器學(xué)習(xí)中的線性回歸中须误。在進(jìn)行線性回歸時(shí),我們往往希望殘差平方和最小仇轻,即:

這里的C是我們的訓(xùn)練數(shù)據(jù)京痢,訓(xùn)練數(shù)據(jù)的矩陣表示相當(dāng)于線性方程組的A,要找的參數(shù)a相當(dāng)于線性方程組的x篷店,實(shí)際值y相當(dāng)于線性方程組的b祭椰。根據(jù)我們上一節(jié)求解正交投影的方式,Ca的值應(yīng)該等于y在C張成空間中的正交投影,因此吭产,我們可以直接計(jì)算得到參數(shù)的值:

14.7 正交基

如果一組向量中任意兩個(gè)向量都是正交的侣监,那么我們可以稱這組向量為正交集(Orthogonal Set)。不含零向量的正交集中的向量是線性無(wú)關(guān)的臣淤,證明如下:

如果正交集中所有的向量長(zhǎng)度都為1,那么這個(gè)集合被稱為標(biāo)準(zhǔn)正交集(Orthonormal Set)窃爷,標(biāo)準(zhǔn)正交集中的向量當(dāng)然也是線性無(wú)關(guān)的邑蒋。

因?yàn)檎患瘶?biāo)準(zhǔn)正交集中的向量是線性無(wú)關(guān)的,那么如果一個(gè)子空間的基是正交/標(biāo)準(zhǔn)正交的按厘,那么這個(gè)基被稱為正交基(Orthogonal Basis)/標(biāo)準(zhǔn)正交基(Orthonormal Basis)医吊。

如果一個(gè)基是正交的,那么我們可以很快的求解出子空間中一個(gè)向量的坐標(biāo):

如果u是任意向量逮京,那么u在子空間中的正交投影也很容易計(jì)算得出:

我們可以將我們之前得到的投影變換矩陣進(jìn)行改寫(xiě):

如何把一個(gè)普通的基轉(zhuǎn)換為正交基呢卿堂,方法如下:

14.8 正交矩陣

我們之前提到過(guò),矩陣其實(shí)代表一種線性變換懒棉,如果將這種變換作用在任意的向量u上草描,不改變向量u的長(zhǎng)度的話,我們就說(shuō)該線性變換具有Norm-preserving(這里不清楚怎么翻譯策严,暫且翻譯為范數(shù)不變性)穗慕。注意,這樣的u是任意的向量妻导,比如旋轉(zhuǎn)和對(duì)稱反轉(zhuǎn)操作就不會(huì)改變?nèi)魏蜗蛄康姆稊?shù):

顯然逛绵,具有范數(shù)不變性的矩陣,其必有一個(gè)特征值為+1或者-1 倔韭。

一個(gè)n階的方陣Q术浪,如果它的列是可以張成n維空間的標(biāo)準(zhǔn)正交基,我們就稱Q為正交矩陣(orthogonal matrix)寿酌。

例如胰苏,下面的矩陣就是一個(gè)正交矩陣:

范數(shù)不變性和正交矩陣是什么關(guān)系呢?答案是:如果一個(gè)矩陣具有范數(shù)不變性份名,那么它是正交矩陣碟联,反之如果一個(gè)矩陣是正交矩陣,那么該矩陣具有范數(shù)不變性僵腺。接下來(lái)鲤孵,我們分別證明這兩點(diǎn)。

第一點(diǎn):如果一個(gè)矩陣具有范數(shù)不變性辰如,那么它是正交矩陣

證明一個(gè)矩陣是正交矩陣無(wú)非就是證明兩點(diǎn)普监,每一列的長(zhǎng)度都為1,任意兩列都是正交的。

證明每一列長(zhǎng)度都為1:

證明任意兩列正交:

第二點(diǎn):如果一個(gè)矩陣是正交矩陣凯正,那么該矩陣具有范數(shù)不變性

首先毙玻,我們很容易知道,對(duì)于一個(gè)正交矩陣Q廊散,QT=Q-1桑滩,根據(jù)下面的推導(dǎo)可以得到正交矩陣一定具有范數(shù)不變性:

剛才我們說(shuō)到了,對(duì)于一個(gè)正交矩陣Q允睹,QT=Q-1运准,這個(gè)條件其實(shí)可以用來(lái)判斷一個(gè)矩陣是否為正交矩陣。根據(jù)這個(gè)條件缭受,可以得到胁澳,如果一個(gè)矩陣是正交矩陣,那么其轉(zhuǎn)置仍然是正交矩陣米者。這時(shí)我們只要檢查一下(QT)T=(QT)-1是否成立就好了韭畸。很顯然是成立的,因?yàn)檗D(zhuǎn)置的逆等于逆的轉(zhuǎn)置蔓搞。

所以對(duì)一個(gè)正交矩陣胰丁,有如下三點(diǎn)性質(zhì):

1)行和列都是正交的范數(shù)為1的向量

2)范數(shù)不變性

3)其轉(zhuǎn)置等于其逆矩陣

14.9 對(duì)稱矩陣

如果一個(gè)矩陣的轉(zhuǎn)置等于其本身,那么這個(gè)矩陣被稱為對(duì)稱矩陣(symmetric matrices)败明。

對(duì)于對(duì)稱矩陣來(lái)說(shuō)隘马,它的特征值都是實(shí)數(shù):

同時(shí),不同的特征根所對(duì)應(yīng)的特征向量妻顶,是正交的:

對(duì)稱矩陣一定是可以對(duì)角化的(相關(guān)的證明網(wǎng)上可以找到酸员,這里就不證明了),我們之前介紹過(guò)讳嘱,對(duì)于一個(gè)可對(duì)角化的矩陣幔嗦,它的特征向量之間都是線性無(wú)關(guān)的,根據(jù)這個(gè)性質(zhì)沥潭,如果一個(gè)n階對(duì)稱陣有n個(gè)不同特征值的話邀泉,其對(duì)應(yīng)的特征向量是兩兩正交的,那么其組成的矩陣就可以是一個(gè)正交矩陣钝鸽,如果存在重根汇恤,其對(duì)應(yīng)的特征向量之間不一定是正交的,但總是可以通過(guò)正交化的方式轉(zhuǎn)換成正交的拔恰。因此對(duì)于對(duì)稱矩陣來(lái)說(shuō)因谎,之前講過(guò)的對(duì)角化的方式可以變?yōu)椋?/p>

15、奇異值分解

15.1 什么是奇異值分解颜懊?

我們之前介紹的對(duì)角化财岔,只能針對(duì)方陣风皿,那么對(duì)于非方陣來(lái)說(shuō),我們可不可以用類似對(duì)角化的方式對(duì)矩陣進(jìn)行分解呢匠璧?這里就用到了奇異值分解(Singular value decomposition ,SVD)的技術(shù)桐款。

奇異值分解如下,一個(gè)m*n的矩陣A可以分解為一個(gè)m階的正交矩陣夷恍,一個(gè)m*n的對(duì)角矩陣(類似于對(duì)角矩陣吧)和一個(gè)n階的正交矩陣:

那這三個(gè)矩陣分別要怎么求呢魔眨?我們參考劉建平老師的文章(https://www.cnblogs.com/pinard/p/6251584.html):

奇異值通常用于降維,也就是說(shuō)酿雪,我們不需要所有的奇異值來(lái)描述矩陣冰沙,而是通過(guò)少數(shù)的幾個(gè)比較大的奇異值就可以,此時(shí)效果如下:

好了执虹,本文的線性代數(shù)知識(shí)就帶你復(fù)習(xí)到這里,真的建議大家去聽(tīng)一下李宏毅老師的線性代數(shù)課唠梨,講的還是十分清晰的袋励。

參考文獻(xiàn)

1、http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html

2当叭、https://www.cnblogs.com/pinard/p/6251584.html

作者:石曉文的學(xué)習(xí)日記

鏈接:http://www.reibang.com/p/21aea5108d83

來(lái)源:簡(jiǎn)書(shū)

簡(jiǎn)書(shū)著作權(quán)歸作者所有茬故,任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蚁鳖,一起剝皮案震驚了整個(gè)濱河市磺芭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌醉箕,老刑警劉巖钾腺,帶你破解...
    沈念sama閱讀 221,331評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異讥裤,居然都是意外死亡放棒,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,372評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門己英,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)间螟,“玉大人,你說(shuō)我怎么就攤上這事损肛∠崞疲” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,755評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵治拿,是天一觀的道長(zhǎng)摩泪。 經(jīng)常有香客問(wèn)我,道長(zhǎng)忍啤,這世上最難降的妖魔是什么加勤? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,528評(píng)論 1 296
  • 正文 為了忘掉前任仙辟,我火速辦了婚禮,結(jié)果婚禮上鳄梅,老公的妹妹穿的比我還像新娘叠国。我一直安慰自己,他們只是感情好戴尸,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,526評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布粟焊。 她就那樣靜靜地躺著,像睡著了一般孙蒙。 火紅的嫁衣襯著肌膚如雪项棠。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,166評(píng)論 1 308
  • 那天挎峦,我揣著相機(jī)與錄音香追,去河邊找鬼。 笑死坦胶,一個(gè)胖子當(dāng)著我的面吹牛透典,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播顿苇,決...
    沈念sama閱讀 40,768評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼峭咒,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了纪岁?” 一聲冷哼從身側(cè)響起凑队,我...
    開(kāi)封第一講書(shū)人閱讀 39,664評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎幔翰,沒(méi)想到半個(gè)月后漩氨,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,205評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡导匣,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,290評(píng)論 3 340
  • 正文 我和宋清朗相戀三年才菠,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贡定。...
    茶點(diǎn)故事閱讀 40,435評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡赋访,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出缓待,到底是詐尸還是另有隱情蚓耽,我是刑警寧澤,帶...
    沈念sama閱讀 36,126評(píng)論 5 349
  • 正文 年R本政府宣布旋炒,位于F島的核電站步悠,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏瘫镇。R本人自食惡果不足惜鼎兽,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,804評(píng)論 3 333
  • 文/蒙蒙 一答姥、第九天 我趴在偏房一處隱蔽的房頂上張望悬蔽。 院中可真熱鬧捺宗,春花似錦、人聲如沸蝗蛙。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,276評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至秉继,卻和暖如春祈噪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背尚辑。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工辑鲤, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人杠茬。 一個(gè)月前我還...
    沈念sama閱讀 48,818評(píng)論 3 376
  • 正文 我出身青樓遂填,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親澈蝙。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,442評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容