8橱野、行列式
8.1 什么是行列式叫潦?
首先方陣才有行列式五续,我們先來(lái)簡(jiǎn)單回顧一下2*2和3*3的矩陣的行列式:
那行列式代表什么含義呢示启?在二維平面中兢哭,矩陣行列式的絕對(duì)值代表一個(gè)平行四邊形的面積,在三維空間中夫嗓,矩陣行列式的絕對(duì)值代表一個(gè)平行六面體的體積:
8.2 行列式的性質(zhì)
(1)單位矩陣的行列式為1
(2)交換任意的兩行,行列式變號(hào)
(3)對(duì)任意一行來(lái)說(shuō)冲秽,行列式是“線性”的
從ppt上不好翻譯舍咖,但是看圖是很直觀的:
所以,下面的式子是正確的:
同時(shí):
(4)如果行列式有兩行相等或者是倍數(shù)關(guān)系锉桑,行列式值為0
這個(gè)性質(zhì)也是很直觀的排霉,交換兩行變號(hào)嘛,但是交換的兩行如果是一樣的民轴,那么行列式的值應(yīng)該不變攻柠,-a=a那么a只能是0。
(5)對(duì)角矩陣的行列式等于對(duì)角線上元素的乘積
(6)如果一個(gè)方陣的行列式不為0后裸,那么它是可逆的瑰钮,反之,如果一個(gè)方陣可逆微驶,那么它的行列式不為0
如果一個(gè)矩陣是可逆的浪谴,它可以經(jīng)由初等變換得到單位矩陣开睡,每一次初等變換得到的矩陣的行列式值,相當(dāng)于對(duì)原矩陣的行列式值乘上一個(gè)標(biāo)量苟耻。由于每次乘的標(biāo)量不為0篇恒,所以可以得到原矩陣的行列式值不為0。
(7)det(AB)=det(A)*det(B)
(8)矩陣轉(zhuǎn)置的行列式和原矩陣相同
所以說(shuō)凶杖,剛才的結(jié)論同樣適用于列胁艰。即如果有兩列相同或是倍數(shù)關(guān)系,行列式值同為0智蝠,同時(shí)每一列也是線性的腾么。
8.3 行列式的計(jì)算
我們首先來(lái)介紹余子式和代數(shù)余子式,一個(gè)矩陣的任意一個(gè)元素aij都有對(duì)應(yīng)的余子式寻咒,它就是將第i行和第j列劃掉之后所得到的矩陣的行列式哮翘,用det(Aij)表示:
而cij=(-1)i+jdet(Aij)被稱為代數(shù)余子式。
根據(jù)代數(shù)余子式毛秘,我們可以得到計(jì)算行列式的公式如下:
舉個(gè)3維的例子:
因此饭寺,對(duì)于一個(gè)方陣的行列式,它是n!項(xiàng)的和(n!是n個(gè)元素的全排列的個(gè)數(shù))叫挟,對(duì)于每一項(xiàng)艰匙,它是從每一行選擇一個(gè)元素進(jìn)行相乘,而這些元素分別屬于不同列抹恳。
有了代數(shù)余子式员凝,我們可以得到矩陣A的伴隨矩陣。伴隨矩陣中的每個(gè)元素是原矩陣中該位置元素的代數(shù)余子式:
我們可以進(jìn)一步通過(guò)伴隨矩陣和行列式值來(lái)計(jì)算矩陣的逆:
9奋献、子空間
9.1 子空間
如果一個(gè)向量集合V滿足三個(gè)條件:(1)包含零向量(2)如果u和v屬于V健霹,那么u+v也屬于V(3)如果u屬于V,c是一個(gè)標(biāo)量瓶蚂,那么cu也屬于V撕捍。就稱這個(gè)向量集合V為子空間(subspace):
舉個(gè)例子涯呻,下面的向量集合是一個(gè)子空間:
只有零向量的集合也是一個(gè)子空間,三條性質(zhì)都滿足。
9.2 零空間
對(duì)于一個(gè)矩陣A來(lái)說(shuō)吃度,使得Ax=0的所有x所組成的集合被稱為矩陣A的零空間(Null Space):
9.3 列空間和行空間
列空間(Column Space)是矩陣A的列所張成的空間县昂,行空間(Row Space)是矩陣的行所張成的空間家夺。
在將矩陣化簡(jiǎn)為行階梯型之后猫态,矩陣的列空間是改變的,而行空間不變兆解。
好了馆铁,我們又可以添加一條判斷線性方程組是否有解的條件了,即b是否在A的列空間中痪宰。
10叼架、基Basis
10.1 什么是基Basis
假設(shè)V是Rn的一個(gè)子空間畔裕,能夠張成空間V的一組線性無(wú)關(guān)的向量被稱為基(Basis)。
對(duì)于一個(gè)矩陣來(lái)說(shuō)乖订,其主列是其列空間的基:
10.2 基的特性
基有如下的特性:
(1)基是一個(gè)能張成空間V的數(shù)量最小的向量集合
如果一組向量S能夠張成子空間V扮饶,那么基中包含的向量數(shù)目小于或等于S中向量的數(shù)目。
(2)基是空間中數(shù)量最多的線性無(wú)關(guān)的向量集合
如果子空間V的基中向量的數(shù)量是k乍构,那么你不能找到比k個(gè)多的線性無(wú)關(guān)的向量集合甜无。
(3)子空間中任意的兩組基都包含相同數(shù)目的向量
這個(gè)如何證明呢?
1)假設(shè)子空間V中有兩組基A和B哥遮,個(gè)數(shù)分別是k和p岂丘;
2)因?yàn)锳是子空間中的基,所以B中的所有向量都可以表示成A中向量的線性組合眠饮,即有AC=B奥帘,C的列數(shù)為p,行數(shù)是k仪召;
3)假設(shè)存在一個(gè)p維向量x使得Cx=0寨蹋,所以ACx=Bx=0因?yàn)锽是基,所以Bx=0的解只能是零向量扔茅,所以C也是線性無(wú)關(guān)的已旧;
4)因?yàn)镃中的列向量是k維的,p個(gè)k維的向量線性無(wú)關(guān)召娜,所以一定有p<=k运褪;
5)同理k<=p,所以最終k=p玖瘸,即A和B中向量的個(gè)數(shù)是相同的秸讹。
(4)子空間V的基的向量的數(shù)量被稱為V的維度(dimension)
10.3 判斷一個(gè)集合是否為基
通過(guò)定義,我們可以判斷一個(gè)集合是否為基雅倒,需滿足兩個(gè)條件嗦枢,向量之間線性無(wú)關(guān),同時(shí)能夠張成空間V屯断,前者容易判斷,后者較難判斷:
另一種思路侣诺,假設(shè)對(duì)于一個(gè)子空間V殖演,我們已經(jīng)知道它的維度為2,如果S是一個(gè)包含k個(gè)vector并且屬于V的一個(gè)子集年鸳,那么如果
1)S中的向量線性無(wú)關(guān)趴久,那么S是一個(gè)基
2)S能夠張成空間V,那么S是一個(gè)基
10.4 三種空間的基和維度
我們之前介紹過(guò)對(duì)于一個(gè)矩陣的三個(gè)空間搔确,行空間彼棍、列空間以及零空間灭忠,他們的基以及維度都是多少呢?
A的列空間
A的列空間的基是主列組成的集合座硕,維度就是主列的個(gè)數(shù)
A的零空間
A的零空間的的維度是Ax=0中自由變量的個(gè)數(shù)弛作,基看下面的圖片:
A的行空間
A的行空間的維度是化簡(jiǎn)為簡(jiǎn)約行階梯型之后非零行的個(gè)數(shù),基就是簡(jiǎn)約行階梯型中先導(dǎo)元素所在的行所組成集合华匾。
這里我們可以得出一個(gè)結(jié)論映琳,矩陣A和其轉(zhuǎn)置的秩相等:
總結(jié)一下就是下面這樣子啦:
11、坐標(biāo)系
11.1 使用基表示向量
在n維空間中蜘拉,我們可以使用基向量來(lái)表示坐標(biāo)系萨西,這樣空間中的任意向量的坐標(biāo)都確定了,但是對(duì)于同一向量旭旭,使用不同的坐標(biāo)系谎脯,其坐標(biāo)是不同的:
同理,在不同坐標(biāo)系下持寄,同一個(gè)坐標(biāo)所代表的向量也不同:
當(dāng)基確定時(shí)源梭,一個(gè)向量的坐標(biāo)也是唯一的,由于基之間是線性無(wú)關(guān)的际看,因此證明如下:
在某一坐標(biāo)系B下咸产,一個(gè)向量可以表示成其對(duì)應(yīng)的坐標(biāo)表示:
而我們最為常用的一種坐標(biāo)系就是直角坐標(biāo)系(Cartesian coordinate system),通常表示如下:
那么根據(jù)任意坐標(biāo)系以及某一向量在該坐標(biāo)系下的坐標(biāo)仲闽,如何得到該向量呢脑溢?很簡(jiǎn)單,該向量可以表示成基的線性組合赖欣,系數(shù)即為其坐標(biāo):
那么屑彻,如何得到某一向量在任意坐標(biāo)系下的坐標(biāo),兩邊同乘B-1即可:
11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換
其實(shí)我們的向量就是在直角坐標(biāo)系下的坐標(biāo)表示顶吮,所以其實(shí)直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換我們上一節(jié)已經(jīng)講過(guò):
11.3 坐標(biāo)系與線性方程
我們之前所說(shuō)的線性方程社牲,都是相對(duì)于直角坐標(biāo)系所說(shuō)的,有時(shí)候有些問(wèn)題直接在直角坐標(biāo)系下進(jìn)行求解并不容易悴了,但是轉(zhuǎn)換到另一坐標(biāo)系下就會(huì)變得十分簡(jiǎn)單搏恤,這就得到了通過(guò)坐標(biāo)系轉(zhuǎn)換來(lái)求解問(wèn)題的思路:
我們舉個(gè)例子來(lái)說(shuō)吧,如果下圖中的T表示得到任意一個(gè)向量關(guān)于直線L的對(duì)稱向量:
直接求解這個(gè)問(wèn)題非常難湃交,我們想要找的是一個(gè)矩陣A熟空,使得T(x)=Ax,直線如果不是橫軸或者縱軸的話搞莺,要找到這個(gè)矩陣A是十分困難的息罗。但是如果直線是橫軸或者縱軸的話,這個(gè)問(wèn)題就變得非常簡(jiǎn)單才沧。假設(shè)直線是橫軸迈喉,那么要找的矩陣我們可以很容易寫(xiě)出:
所以我們可以通過(guò)坐標(biāo)系變換绍刮,把直線L變成橫軸,那么問(wèn)題就簡(jiǎn)單了:
所以我們?cè)谥苯亲鴺?biāo)系下的這個(gè)變換矩陣A也就找到了挨摸,此時(shí)我們可以稱兩個(gè)坐標(biāo)系下的變換矩陣是相似矩陣(Similar matrices):
假設(shè)直線L為y=0.5x孩革,那么求解過(guò)程如下:
12、特征值和特征向量
12.1 什么是特征值和特征向量
好了油坝,在寫(xiě)這一節(jié)之前嫉戚,我們看來(lái)想一下上一節(jié)的東西,我們說(shuō)一個(gè)直角坐標(biāo)系下的向量v澈圈, 其在另一個(gè)坐標(biāo)系下的坐標(biāo)表示為Bv彬檀,這個(gè)B是該坐標(biāo)系下的基所做成的矩陣,所以說(shuō)矩陣可以表示一種線性變換(Linear Transformation)瞬女,它將一個(gè)向量在直角坐標(biāo)系下的坐標(biāo)表示轉(zhuǎn)換為另一坐標(biāo)系下的坐標(biāo)表示窍帝!
我們知道,任意非零向量都可以張成一條直線诽偷,有的向量在一個(gè)矩陣A作用后坤学,偏離了其所張成的空間;但有的向量在矩陣A作用后报慕,還是在原有張成的空間深浮,矩陣A只是對(duì)該向量起到了一定的伸縮作用,那么我們就說(shuō)該向量是矩陣A的特征向量(Eigenvector)眠冈,而這個(gè)伸縮作用的大小我們就稱為特征值(Eigenvalue)飞苇。所以我們知道,該向量所張成空間中的所有向量(零向量除外)都是該矩陣的特征向量蜗顽。下面的例子中布卡,經(jīng)過(guò)變換后橫軸沒(méi)有發(fā)生變化,所以橫軸的向量都是特征向量雇盖,特征值為1忿等。
好了,我們可以給出特征值和特征向量的定義了:
12.2 如何計(jì)算特征向量
假設(shè)我們已經(jīng)知道了特征值λ崔挖,我們可以根據(jù)Av=λv求解其對(duì)應(yīng)的特征向量:
而某一特征值λ的特征空間(Eigenspace)定義為(A-λIn)v=0的解集:
Eigenspace也可以說(shuō)是λ所對(duì)應(yīng)的特征向量再加上零向量(特征向量不能是零向量)
12.3 檢查一個(gè)標(biāo)量是否為特征值
檢查一個(gè)標(biāo)量是否為特征值贸街,只需要判斷其對(duì)應(yīng)的特征空間是否只有零向量即可:
12.4 計(jì)算特征值
如果一個(gè)標(biāo)量是矩陣A的特征值,那么他會(huì)滿足下面所有的條件:
那么如何計(jì)算一個(gè)矩陣的特征值呢狸相,這里要使用特征多項(xiàng)式(Characteristic Polynomial)匾浪,特征值是特征多項(xiàng)式的根。即:
舉個(gè)例子:
這里我們可以得到一個(gè)性質(zhì)卷哩,兩個(gè)相似矩陣的特征值是相同的,證明如下:
那么一個(gè)n階方陣有多少特征值呢属拾?最多n個(gè)将谊。如果一個(gè)n階方陣有n個(gè)特征值(包括重復(fù)值)冷溶,那么這n個(gè)特征值的的和等于矩陣的跡(trace,即矩陣主對(duì)角線的元素之和),同時(shí)尊浓,這n個(gè)特征值的乘積等于矩陣的行列式逞频。
對(duì)特征多項(xiàng)式進(jìn)行因式分解,我們可以得到如下重要的結(jié)論栋齿,一個(gè)特征值對(duì)應(yīng)的特征空間的維度苗胀,小于等于該特征值重復(fù)出現(xiàn)的次數(shù)。
舉例來(lái)說(shuō):
12.5 正定矩陣&半正定矩陣
如果一個(gè)矩陣的所有特征值都大于0瓦堵,那么這個(gè)矩陣被稱為正定矩陣(positive definite matrix)基协,如過(guò)特征值都大于等于0,則稱為半正定矩陣菇用。
那么正定或者半正定矩陣的含義是什么呢澜驮?這里我們以正定矩陣為例。我們知道一個(gè)矩陣的A代表一種線性變化惋鸥,那么如果一個(gè)矩陣是正定的杂穷,就有xTAx>0,假設(shè)x在經(jīng)過(guò)A的變換后變?yōu)閥,那么xTy>0卦绣,即x和y的內(nèi)積大于0,或者說(shuō)夾角小于90度耐量。所以正定矩陣的直覺(jué)代表一個(gè)向量經(jīng)過(guò)它的變化后的向量與其本身的夾角小于90度。
13滤港、對(duì)角化
13.1 可對(duì)角化
如果一個(gè)n階方陣A可以變?yōu)锳=PDP-1,其中D是n階對(duì)角矩陣廊蜒,P是n階可逆方陣,那么A就是可對(duì)角化的(diagonalizable)蜗搔。但并非所有的矩陣都可以進(jìn)行對(duì)角化:
如果A是可對(duì)角化的劲藐,那么P中的列向量是A的特征向量,D中對(duì)角線元素是A的特征值樟凄,證明如下:
同時(shí)聘芜,我們可以得到如下結(jié)論:
13.2 可對(duì)角化的性質(zhì)
本節(jié)我們介紹幾個(gè)重要的性質(zhì),
1)不同特征值對(duì)應(yīng)的特征向量之間線性無(wú)關(guān)缝龄。
2)如果一個(gè)矩陣A可對(duì)角化汰现,那么其特征值對(duì)應(yīng)的特征空間的維度,等于該特征值重復(fù)出現(xiàn)的次數(shù)叔壤。
3)如果一個(gè)矩陣A可對(duì)角化瞎饲,那么Am= PDmP-1。
我們首先來(lái)看第一個(gè)性質(zhì):
我們可以假設(shè)他們之間線性相關(guān)來(lái)進(jìn)行反證:
再來(lái)看第二個(gè)性質(zhì):
14炼绘、正交
14.1 范數(shù)和距離
我們常用范數(shù)(Norm)來(lái)表示矩陣的長(zhǎng)度嗅战,其中最常用的是二范數(shù):
兩個(gè)向量的距離,我們使用的一般是歐式距離:
14.2 點(diǎn)積和正交
點(diǎn)積(Dot Product)的計(jì)算如下:
兩個(gè)向量是正交的(Orthogonal),如果兩個(gè)向量的點(diǎn)積是0驮捍,那么零向量和任何向量都是正交的疟呐。
點(diǎn)積具有如下的性質(zhì):
同時(shí),如果兩個(gè)向量是正交的东且,那么有如下性質(zhì):
在三角形中启具,我們有著名的三角不等式,兩條邊長(zhǎng)度之和大于第三條邊的長(zhǎng)度珊泳,所以我們有:
14.3 正交補(bǔ)
對(duì)于一個(gè)非空的向量集合S鲁冯,該集合的正交補(bǔ)(Orthogonal Complement)定義為:
關(guān)于正交補(bǔ),我們有如下性質(zhì):
所以說(shuō)色查,對(duì)于n維空間中的向量薯演,我們都可以進(jìn)行拆解:
14.4 正交投影
正交投影(Orthogonal Projection)通過(guò)下面的圖片很容易理解,如果向量u像子空間W做正交投影,其投影的結(jié)果就是w综慎。
正交投影有一個(gè)很重要的性質(zhì)就是涣仿,u在子空間W上的正交投影向量,是與u距離最近的示惊,觀察下圖可以看出好港,直角三角形斜邊的長(zhǎng)度總是大于直角邊的:
14.5 如何做正交投影
如何得到一個(gè)向量在另一個(gè)子空間上的正交投影呢,從一個(gè)向量得到另一個(gè)向量米罚,我們不妨中間乘了一個(gè)變換矩陣Pw钧汹,即w=Pwu。所以關(guān)鍵是變成如何尋找這個(gè)矩陣
Pw录择。
好了拔莱,我們這里直接給出結(jié)論,然后再進(jìn)行證明:
證明如下隘竭,證明中的第一步是因?yàn)閡-w是垂直于子空間W中所有向量的塘秦,因此自然垂直于C中所有的列向量,因此CT(u-w)=0:
14.6 正交投影的應(yīng)用-求解線性回歸
如果對(duì)于無(wú)解的線性方程組Ax=b动看,我們退而求其次尊剔,在A的列所張成的空間中找一個(gè)距離b最近的向量,其實(shí)就是b在A上的正交投影菱皆。
這個(gè)思想可以用在我們機(jī)器學(xué)習(xí)中的線性回歸中须误。在進(jìn)行線性回歸時(shí),我們往往希望殘差平方和最小仇轻,即:
這里的C是我們的訓(xùn)練數(shù)據(jù)京痢,訓(xùn)練數(shù)據(jù)的矩陣表示相當(dāng)于線性方程組的A,要找的參數(shù)a相當(dāng)于線性方程組的x篷店,實(shí)際值y相當(dāng)于線性方程組的b祭椰。根據(jù)我們上一節(jié)求解正交投影的方式,Ca的值應(yīng)該等于y在C張成空間中的正交投影,因此吭产,我們可以直接計(jì)算得到參數(shù)的值:
14.7 正交基
如果一組向量中任意兩個(gè)向量都是正交的侣监,那么我們可以稱這組向量為正交集(Orthogonal Set)。不含零向量的正交集中的向量是線性無(wú)關(guān)的臣淤,證明如下:
如果正交集中所有的向量長(zhǎng)度都為1,那么這個(gè)集合被稱為標(biāo)準(zhǔn)正交集(Orthonormal Set)窃爷,標(biāo)準(zhǔn)正交集中的向量當(dāng)然也是線性無(wú)關(guān)的邑蒋。
因?yàn)檎患瘶?biāo)準(zhǔn)正交集中的向量是線性無(wú)關(guān)的,那么如果一個(gè)子空間的基是正交/標(biāo)準(zhǔn)正交的按厘,那么這個(gè)基被稱為正交基(Orthogonal Basis)/標(biāo)準(zhǔn)正交基(Orthonormal Basis)医吊。
如果一個(gè)基是正交的,那么我們可以很快的求解出子空間中一個(gè)向量的坐標(biāo):
如果u是任意向量逮京,那么u在子空間中的正交投影也很容易計(jì)算得出:
我們可以將我們之前得到的投影變換矩陣進(jìn)行改寫(xiě):
如何把一個(gè)普通的基轉(zhuǎn)換為正交基呢卿堂,方法如下:
14.8 正交矩陣
我們之前提到過(guò),矩陣其實(shí)代表一種線性變換懒棉,如果將這種變換作用在任意的向量u上草描,不改變向量u的長(zhǎng)度的話,我們就說(shuō)該線性變換具有Norm-preserving(這里不清楚怎么翻譯策严,暫且翻譯為范數(shù)不變性)穗慕。注意,這樣的u是任意的向量妻导,比如旋轉(zhuǎn)和對(duì)稱反轉(zhuǎn)操作就不會(huì)改變?nèi)魏蜗蛄康姆稊?shù):
顯然逛绵,具有范數(shù)不變性的矩陣,其必有一個(gè)特征值為+1或者-1 倔韭。
一個(gè)n階的方陣Q术浪,如果它的列是可以張成n維空間的標(biāo)準(zhǔn)正交基,我們就稱Q為正交矩陣(orthogonal matrix)寿酌。
例如胰苏,下面的矩陣就是一個(gè)正交矩陣:
范數(shù)不變性和正交矩陣是什么關(guān)系呢?答案是:如果一個(gè)矩陣具有范數(shù)不變性份名,那么它是正交矩陣碟联,反之如果一個(gè)矩陣是正交矩陣,那么該矩陣具有范數(shù)不變性僵腺。接下來(lái)鲤孵,我們分別證明這兩點(diǎn)。
第一點(diǎn):如果一個(gè)矩陣具有范數(shù)不變性辰如,那么它是正交矩陣
證明一個(gè)矩陣是正交矩陣無(wú)非就是證明兩點(diǎn)普监,每一列的長(zhǎng)度都為1,任意兩列都是正交的。
證明每一列長(zhǎng)度都為1:
證明任意兩列正交:
第二點(diǎn):如果一個(gè)矩陣是正交矩陣凯正,那么該矩陣具有范數(shù)不變性
首先毙玻,我們很容易知道,對(duì)于一個(gè)正交矩陣Q廊散,QT=Q-1桑滩,根據(jù)下面的推導(dǎo)可以得到正交矩陣一定具有范數(shù)不變性:
剛才我們說(shuō)到了,對(duì)于一個(gè)正交矩陣Q允睹,QT=Q-1运准,這個(gè)條件其實(shí)可以用來(lái)判斷一個(gè)矩陣是否為正交矩陣。根據(jù)這個(gè)條件缭受,可以得到胁澳,如果一個(gè)矩陣是正交矩陣,那么其轉(zhuǎn)置仍然是正交矩陣米者。這時(shí)我們只要檢查一下(QT)T=(QT)-1是否成立就好了韭畸。很顯然是成立的,因?yàn)檗D(zhuǎn)置的逆等于逆的轉(zhuǎn)置蔓搞。
所以對(duì)一個(gè)正交矩陣胰丁,有如下三點(diǎn)性質(zhì):
1)行和列都是正交的范數(shù)為1的向量
2)范數(shù)不變性
3)其轉(zhuǎn)置等于其逆矩陣
14.9 對(duì)稱矩陣
如果一個(gè)矩陣的轉(zhuǎn)置等于其本身,那么這個(gè)矩陣被稱為對(duì)稱矩陣(symmetric matrices)败明。
對(duì)于對(duì)稱矩陣來(lái)說(shuō)隘马,它的特征值都是實(shí)數(shù):
同時(shí),不同的特征根所對(duì)應(yīng)的特征向量妻顶,是正交的:
對(duì)稱矩陣一定是可以對(duì)角化的(相關(guān)的證明網(wǎng)上可以找到酸员,這里就不證明了),我們之前介紹過(guò)讳嘱,對(duì)于一個(gè)可對(duì)角化的矩陣幔嗦,它的特征向量之間都是線性無(wú)關(guān)的,根據(jù)這個(gè)性質(zhì)沥潭,如果一個(gè)n階對(duì)稱陣有n個(gè)不同特征值的話邀泉,其對(duì)應(yīng)的特征向量是兩兩正交的,那么其組成的矩陣就可以是一個(gè)正交矩陣钝鸽,如果存在重根汇恤,其對(duì)應(yīng)的特征向量之間不一定是正交的,但總是可以通過(guò)正交化的方式轉(zhuǎn)換成正交的拔恰。因此對(duì)于對(duì)稱矩陣來(lái)說(shuō)因谎,之前講過(guò)的對(duì)角化的方式可以變?yōu)椋?/p>
15、奇異值分解
15.1 什么是奇異值分解颜懊?
我們之前介紹的對(duì)角化财岔,只能針對(duì)方陣风皿,那么對(duì)于非方陣來(lái)說(shuō),我們可不可以用類似對(duì)角化的方式對(duì)矩陣進(jìn)行分解呢匠璧?這里就用到了奇異值分解(Singular value decomposition ,SVD)的技術(shù)桐款。
奇異值分解如下,一個(gè)m*n的矩陣A可以分解為一個(gè)m階的正交矩陣夷恍,一個(gè)m*n的對(duì)角矩陣(類似于對(duì)角矩陣吧)和一個(gè)n階的正交矩陣:
那這三個(gè)矩陣分別要怎么求呢魔眨?我們參考劉建平老師的文章(https://www.cnblogs.com/pinard/p/6251584.html):
奇異值通常用于降維,也就是說(shuō)酿雪,我們不需要所有的奇異值來(lái)描述矩陣冰沙,而是通過(guò)少數(shù)的幾個(gè)比較大的奇異值就可以,此時(shí)效果如下:
好了执虹,本文的線性代數(shù)知識(shí)就帶你復(fù)習(xí)到這里,真的建議大家去聽(tīng)一下李宏毅老師的線性代數(shù)課唠梨,講的還是十分清晰的袋励。
參考文獻(xiàn)
1、http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
2当叭、https://www.cnblogs.com/pinard/p/6251584.html
作者:石曉文的學(xué)習(xí)日記
鏈接:http://www.reibang.com/p/21aea5108d83
來(lái)源:簡(jiǎn)書(shū)
簡(jiǎn)書(shū)著作權(quán)歸作者所有茬故,任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。