課程主頁：http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
本文目錄
1、線性系統(tǒng)Linear System
2权她、Vectors绢掰、Matrices
2.1 向量Vectors
2.2 矩陣Matrix
2.3 矩陣與向量相乘
3令野、線性方程組有解么？
3.1 線性方程組
3.2 線性組合Linear Combination
3.3 張成的空間Span
4忆矛、線性方程組有多少個解
4.1 線性相關(guān)和線性無關(guān)
4.2 秩Rank
5、求解線性方程組
5.1 初等行變換
5.2 簡化行階梯形式Reduced Row Echelon Form
5.3 滿秩
6请垛、矩陣乘法
6.1 矩陣乘法的含義
6.2 矩陣乘法的性質(zhì)
6.3 分塊矩陣乘法
7催训、逆矩陣
7.1 什么是矩陣的逆
7.2 初等矩陣
7.3 什么矩陣是可逆的？
7.4 求解一個矩陣的逆
8宗收、行列式
8.1 什么是行列式漫拭？
8.2 行列式的性質(zhì)
8.3 行列式的計算
9、子空間
9.1 子空間
9.2 零空間
9.3 列空間和行空間
10混稽、基Basis
10.1 什么是基Basis
10.2 基的特性
10.3 判斷一個集合是否為基
10.4 三種空間的基和維度
11采驻、坐標(biāo)系
11.1 使用基表示向量
11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換
11.3 坐標(biāo)系與線性方程
12、特征值和特征向量
12.1 什么是特征值和特征向量
12.2 如何計算特征向量
12.3 檢查一個標(biāo)量是否為特征值
12.4 計算特征值
12.5 正定矩陣&半正定矩陣
13荚坞、對角化
13.1 可對角化
13.2 可對角化的性質(zhì)
14挑宠、正交
14.1 范數(shù)和距離
14.2 點積和正交
14.3 正交補(bǔ)
14.4 正交投影
14.5 如何做正交投影
14.6 正交投影的應(yīng)用-求解線性回歸
14.7 正交基
14.8 正交矩陣
14.9 對稱矩陣
15、奇異值分解
15.1 什么是奇異值分解颓影？
1各淀、線性系統(tǒng)Linear System
一個線性系統(tǒng)滿足兩個條件：Persevering Multiplication和Persevering Addition。
Persevering Multiplication
Persevering Addition
多元線性方程組是一個線性系統(tǒng)诡挂。
2碎浇、Vectors临谱、Matrices
2.1 向量Vectors
向量是一堆數(shù)的集合，分為列向量和行向量奴璃，本文中悉默，向量默認(rèn)是列向量，行向量用其轉(zhuǎn)置表示苟穆。
向量與標(biāo)量相乘抄课，每一維都與該標(biāo)量相乘：
向量相加，使用平行四邊形法則：
零向量：所有維度的值都為0：
標(biāo)準(zhǔn)向量：一個維度是1雳旅，其余維度是0:
向量集：可以包含有限個或無限個向量：
Rn: 所有的n維向量組成的向量集合
2.2 矩陣Matrix
矩陣是一組向量：
如果矩陣有m行和n列跟磨，我們就說矩陣的大小為m*n，如果m=n攒盈，我們稱為方陣（square matrix）抵拘。
矩陣的元素下標(biāo)表示，先行后列：
矩陣與標(biāo)量相乘：每一個元素分別與該標(biāo)量相乘型豁。
矩陣相加：兩個矩陣的形狀必須一致僵蛛，同位置的元素分別相加。
零矩陣：所有元素均為0的矩陣迎变。
單位矩陣Identity matrix：必須是方陣充尉，對角線元素為1，其余為0氏豌，用In表示n*n的單位矩陣喉酌。
同形狀的矩陣的一些運(yùn)算法則：
矩陣的轉(zhuǎn)置：沿左上到右下的對角線為軸進(jìn)行翻轉(zhuǎn)，將(i,j)位置的元素與(j,i)位置的元素互換得到的矩陣泵喘，轉(zhuǎn)置的矩陣用AT表示泪电。
矩陣轉(zhuǎn)置的一些運(yùn)算規(guī)則：
2.3 矩陣與向量相乘
矩陣和向量相乘，結(jié)果如下：
從行的角度來看矩陣和向量相乘：從行的角度看纪铺，矩陣A和向量x相乘相速，其結(jié)果是矩陣的A的每一行與向量x做點積(dot product,后面再介紹) 的結(jié)果。
從列的角度來看矩陣和向量相乘：從列的角度看鲜锚，矩陣A和向量x相乘突诬，相當(dāng)于對矩陣A的列向量做了一次線性組合。
因此芜繁，無論從行角度還是列角度旺隙，矩陣A的列數(shù)要與向量x的維數(shù)相同。
矩陣和向量相乘的一些性質(zhì)：
如果A和B都是m*n的矩陣骏令，對所有的w蔬捷，如果都有Aw=Bw，那么是否意味著A=B。結(jié)果是顯然的周拐。既然是所有的w铡俐，那么我們用標(biāo)準(zhǔn)向量就可以得到A和B的每一列都是相同的，因此A=B妥粟。
3审丘、線性方程組有解么？
3.1 線性方程組
對于一個線性方程組勾给，我們可以寫成矩陣和向量相乘的形式：
對于一個線性方程組滩报，其解的情況可能是無解，有唯一解或者有無窮多個解锦秒。我們把所有的解的集合稱為解集(solution set)
如果線性方程組有解露泊，我們就稱其為相容的(consistent)，若無解旅择，則稱為不相容的(inconsistent)。
3.2 線性組合Linear Combination
線性組合是一個操作侣姆，將各個向量縮放之后生真，相加在一起，就得到了參與操作的向量之間的線性組合捺宗。
所以線性方程組的問題可以轉(zhuǎn)變成：b是否可以表示成A中列向量的線性組合柱蟀？
舉幾個例子：
通過觀察上面的例子，你可能會想蚜厉，在二維平面中长已，是不是只要兩個向量不平行，就一定有解昼牛？答案是肯定的术瓮，但有解時兩個向量不一定平行，因為目標(biāo)向量也可能跟它們平行贰健。
3.3 張成的空間Span
對于一個向量集S胞四，其向量的所有線性組合組成的向量集V，稱為Span(S)伶椿，也被稱為S張成的空間辜伟。
舉幾個二維空間中的例子吧，如果S中只有零向量脊另，那么其張成的空間也只有零向量导狡。
如果S中包含一個非零向量，那么其張成的空間是一條直線：
如果一個向量集包含兩個不平行的非零向量偎痛，那么其可以張成整個二維平面：
所以一個線性方程組的問題又可以轉(zhuǎn)換成兩一個等價的問題：向量b是否在A的列向量所張成的空間中旱捧？
4、線性方程組有多少個解
在上一節(jié)中看彼，我們知道了如果b可以表示成A中列向量的線性組合或者b在A的列向量所張成的空間中廊佩，那么線性方程組有解囚聚，否則無解。但是标锄，有解的情況下是唯一解還是多個解呢顽铸？我們還不知道。
4.1 線性相關(guān)和線性無關(guān)
給定一個向量集料皇，如果其中一個向量可以表示成其余向量的線性組合谓松，那么我們就說這組向量是線性相關(guān)(Linear Dependent)的。值得注意的是践剂，零向量是任意向量的線性組合鬼譬，因此只要包含零向量的向量集，都是線性相關(guān)的逊脯。
線性相關(guān)還有另一種定義优质，即可以找到一組非全零的標(biāo)量，使得線性組合為零向量军洼。
與之相對應(yīng)巩螃，如果無法找到一組非全零的標(biāo)量，使得線性組合得到零向量匕争，那么這組向量就是線性無關(guān)的(Linear Independent)：
判斷向量集是線性無關(guān)還是線性相關(guān)避乏，其實就是看一個齊次方程(Homogeneous Equations)有無非零解：
由此，對于Ax=b甘桑，我們可以得到兩個結(jié)論：如果A的列是線性相關(guān)的拍皮，且Ax=b有解，那么跑杭，它有無窮多個解铆帽；如果Ax=b有無窮多個解，那么A的列是線性相關(guān)的：
4.2 秩Rank
矩陣的秩(Rank)定義為線性無關(guān)的列的最大數(shù)目：
矩陣的零化度(Nullity)是矩陣的列數(shù)減去矩陣的秩：
也就是說艘蹋，如果一個m*n的矩陣锄贼，其秩為n的話，它的列是線性無關(guān)的：
所以總結(jié)一下線性方程組的解的相關(guān)問題：
5女阀、求解線性方程組
5.1 初等行變換
如果兩個線性方程組的解集是相同的宅荤，我們就稱它們是等價的(equivalent)。
對線性方程組做以下三種操作可以得到等價的方程組：
1）交換兩行
2）對其中一行變?yōu)閗倍
3）將一行的k倍加到另一行上
上面的三種操作我們也稱為初等行變換(elementary row operations)
這里我們介紹一下增廣矩陣(Augmented Matrix)浸策，即將A和b進(jìn)行橫向拼接：
因此冯键，通過初等行變換，如果我們能夠?qū)⒃鰪V矩陣轉(zhuǎn)換為一個相對簡單的形式庸汗，那么我們可以很快的得出最終的解惫确。
5.2 簡化行階梯形式Reduced Row Echelon Form
我們首先介紹行階梯形式的矩陣，它滿足兩個條件，首先是非零行要在全零行的上面改化，其先導(dǎo)元素(leading entries掩蛤，每行的第一個非零元素)按階梯型排列：
在上述兩個條件的基礎(chǔ)上，如果先導(dǎo)元素所在的列都是標(biāo)準(zhǔn)向量的話陈肛，那么它就是簡化行階梯形式Reduced Row Echelon Form：
下面的矩陣不是簡化行階梯形式：
而下面的矩陣是簡化行階梯形式：
根據(jù)簡化行階梯形式揍鸟，我們很容易得到線性方程組的解的形式。
如果簡化行階梯形式是[I;b']的句旱，那么線性方程組有唯一解：
下面的例子是有無窮多個解的情況礁遣，可以看到恃泪，第1序目、3碎税、5列是包含先導(dǎo)元素的標(biāo)準(zhǔn)向量，其對應(yīng)的變量也稱為基本變量啃匿，而第2蛔外、4個變量被稱為自由變量：
下面的例子是無解的情況，先導(dǎo)元素出現(xiàn)在了最后一列：
通過將增廣矩陣化簡為簡約行階梯形式立宜，進(jìn)而求解線性方程組解的方法冒萄，我們稱之為高斯消元法(Gaussian Elimination)
接下來，我們來看一下簡約行階梯型形式的一些性質(zhì)：
(1)化簡為簡約行階梯型形式之后橙数，列之間的關(guān)系不變
也就是說，初等行變換不改變矩陣中列之間的關(guān)系帅戒。加入A的簡約行階梯形式是R灯帮，那么Ax=0和Rx=0有相同的解集。
但是對于行來說逻住，行階梯形式改變了行之間的關(guān)系钟哥，比如原先兩行是兩倍的關(guān)系，其中一行變?yōu)槎吨笙狗茫呔拖嗟攘四宸。P(guān)系自然改變了。
(2)簡約行階梯形式改變了矩陣列所張成的空間
舉個簡單的例子就能理解扒秸，假設(shè)一個矩陣是[[1,2],[2,4]]播演，它所張成的空間是y=2x，化簡后得到[[1,0],[0,0]]伴奥，此時所張成的空間卻是整個平面写烤。但是沒有改變行所張成的空間。
(3)先導(dǎo)元素所在的列線性無關(guān)拾徙，其他列是這些列的線性組合
先導(dǎo)元素所在的列洲炊，在原矩陣中被稱為主列(pivot columns),這些列是線性無關(guān)的，其他列可以有主列的線性組合得到。
(4) 矩陣的秩等于主列的個數(shù)暂衡，等于簡約行階梯型里非0行的個數(shù)
根據(jù)這個性質(zhì)询微，我們可以得到矩陣的秩的一個性質(zhì)：
Rank(A) <= Min(Number of columns,Number of rows)
因為秩等于主列的個數(shù)，所以秩一定小于等于列的個數(shù)狂巢，因為秩等于簡約行階梯型中非零行的個數(shù)撑毛，所以秩一定小于等于矩陣行的個數(shù)。
有這個性質(zhì)我們還可以得出兩個簡單的結(jié)論：對于m*n的矩陣A隧膘，如果m<n代态，那么矩陣A的列一定是線性相關(guān)的和在Rm空間中，無法找到多于m個線性無關(guān)的向量疹吃。
所以我們再來回顧一下矩陣秩的判定蹦疑，我們已經(jīng)有多種得到矩陣秩的方式：
(5)當(dāng)m*n的矩陣A的秩為m是，方程組Ax=b恒有解
對于增廣矩陣來說萨驶，如果變?yōu)楹喖s行階梯型后先導(dǎo)元素出現(xiàn)在了最后一列歉摧，則無解。
什么情況下Ax=b恒有解呢腔呜？b是一個m*1的向量叁温，也就是說矩陣A的列向量可以張成整個Rm空間，即A的秩為行數(shù)m核畴，也就是A變成簡約行階梯型之后沒有全0行膝但。
(6)m個線性無關(guān)的m維向量可以張成整個Rm空間，Rm空間中多于m個向量的向量集一定線性相關(guān)
5.3 滿秩
如果m*n的矩陣的秩為n或者m谤草，那么說該矩陣為滿秩(Full Rank)跟束。
6、矩陣乘法
6.1 矩陣乘法的含義
給定兩個矩陣A和B丑孩，其相乘結(jié)果中的元素(i,j)是矩陣A的第i行和矩陣B的第j列的內(nèi)積冀宴，因此，矩陣A的列數(shù)一定要個矩陣B的行數(shù)相等温学。
矩陣乘法可以看作是兩個線性方程的組合：
6.2 矩陣乘法的性質(zhì)
(1) AB <> BA
(2)(AB)T = BTAT
(3)其他性質(zhì)
(4)對角矩陣相乘
6.3 分塊矩陣乘法
分塊矩陣相乘和普通矩陣相乘其實是相同的：
7略贮、逆矩陣
7.1 什么是矩陣的逆
如果兩個方陣A和B的乘積是單位矩陣，AB=I仗岖，那么A和B就是互為逆矩陣逃延。
一個矩陣是可逆的(invertible)的，必須滿足兩個條件箩帚，首先要是方陣真友，其次是可以找到另一個方陣B，使得AB=I紧帕。
并不是所有的方陣都是可逆的盔然。同時桅打，一個矩陣的逆矩陣是唯一的：
逆矩陣可以用來求解一個線性方程組，但這種方法要求A是一個方陣愈案，同時在計算上并不是十分有效率的：
7.2 初等矩陣
我們之前介紹了三種初等行變換挺尾，其實初等行變換都可以用矩陣相乘表示，這種左乘的矩陣被稱作初等矩陣(Elementary Matrix)站绪。即單位矩陣經(jīng)過一次初等變換得到的矩陣遭铺。
既然左乘一個初等矩陣相當(dāng)于對單位矩陣做一次初等行變換，那么只要再左乘一個相反操作的初等矩陣恢准，就可以再次變回單位矩陣魂挂，所以初等矩陣的逆很容易得到：
回顧我們?nèi)绾蔚玫骄仃嚨暮喖s行階梯形式，用的就是初等行變換馁筐，因此我們可以用左乘初等矩陣的形式涂召，來得到矩陣的簡約行階梯形式。
7.3 什么矩陣是可逆的敏沉？
判斷一個矩陣是否是可逆的果正，可以用下面條件中的任意之一，不過一定要是一個方陣才行：
7.4 求解一個矩陣的逆
在上一節(jié)中盟迟，我們看到了秋泳，如果一個方陣是可逆的，那么它的簡約行階梯型是單位矩陣攒菠，所以我們可以使用初等行變換來得到一個矩陣的逆迫皱。
8、行列式
8.1 什么是行列式辖众？
首先方陣才有行列式舍杜，我們先來簡單回顧一下2*2和3*3的矩陣的行列式：
那行列式代表什么含義呢？在二維平面中赵辕，矩陣行列式的絕對值代表一個平行四邊形的面積，在三維空間中概龄，矩陣行列式的絕對值代表一個平行六面體的體積：
8.2 行列式的性質(zhì)
(1)單位矩陣的行列式為1
(2)交換任意的兩行还惠，行列式變號
(3)對任意一行來說，行列式是“線性”的
從ppt上不好翻譯私杜，但是看圖是很直觀的：
所以蚕键，下面的式子是正確的：
同時：
(4)如果行列式有兩行相等或者是倍數(shù)關(guān)系，行列式值為0
這個性質(zhì)也是很直觀的衰粹，交換兩行變號嘛锣光，但是交換的兩行如果是一樣的，那么行列式的值應(yīng)該不變铝耻，-a=a那么a只能是0誊爹。
(5)對角矩陣的行列式等于對角線上元素的乘積
(6)如果一個方陣的行列式不為0蹬刷，那么它是可逆的，反之频丘，如果一個方陣可逆办成，那么它的行列式不為0
如果一個矩陣是可逆的，它可以經(jīng)由初等變換得到單位矩陣搂漠，每一次初等變換得到的矩陣的行列式值迂卢，相當(dāng)于對原矩陣的行列式值乘上一個標(biāo)量。由于每次乘的標(biāo)量不為0桐汤，所以可以得到原矩陣的行列式值不為0而克。
(7)det(AB)=det(A)*det(B)
(8)矩陣轉(zhuǎn)置的行列式和原矩陣相同
所以說，剛才的結(jié)論同樣適用于列怔毛。即如果有兩列相同或是倍數(shù)關(guān)系员萍，行列式值同為0，同時每一列也是線性的馆截。
8.3 行列式的計算
我們首先來介紹余子式和代數(shù)余子式充活，一個矩陣的任意一個元素aij都有對應(yīng)的余子式，它就是將第i行和第j列劃掉之后所得到的矩陣的行列式蜡娶，用det(Aij)表示：
而cij=(-1)i+jdet(Aij)被稱為代數(shù)余子式混卵。
根據(jù)代數(shù)余子式，我們可以得到計算行列式的公式如下：
舉個3維的例子：
因此窖张，對于一個方陣的行列式幕随，它是n!項的和(n!是n個元素的全排列的個數(shù))，對于每一項宿接，它是從每一行選擇一個元素進(jìn)行相乘赘淮，而這些元素分別屬于不同列。
有了代數(shù)余子式睦霎，我們可以得到矩陣A的伴隨矩陣梢卸。伴隨矩陣中的每個元素是原矩陣中該位置元素的代數(shù)余子式：
我們可以進(jìn)一步通過伴隨矩陣和行列式值來計算矩陣的逆：
9、子空間
9.1 子空間
如果一個向量集合V滿足三個條件:(1)包含零向量(2)如果u和v屬于V副女，那么u+v也屬于V(3)如果u屬于V蛤高，c是一個標(biāo)量，那么cu也屬于V碑幅。就稱這個向量集合V為子空間(subspace):
舉個例子戴陡，下面的向量集合是一個子空間：
只有零向量的集合也是一個子空間，三條性質(zhì)都滿足沟涨。
9.2 零空間
對于一個矩陣A來說恤批，使得Ax=0的所有x所組成的集合被稱為矩陣A的零空間(Null Space):
9.3 列空間和行空間
列空間(Column Space)是矩陣A的列所張成的空間，行空間(Row Space)是矩陣的行所張成的空間裹赴。
在將矩陣化簡為行階梯型之后喜庞，矩陣的列空間是改變的诀浪，而行空間不變。
好了赋荆，我們又可以添加一條判斷線性方程組是否有解的條件了笋妥，即b是否在A的列空間中。
10窄潭、基Basis
10.1 什么是基Basis
假設(shè)V是Rn的一個子空間春宣，能夠張成空間V的一組線性無關(guān)的向量被稱為基(Basis)。
對于一個矩陣來說嫉你，其主列是其列空間的基：
10.2 基的特性
基有如下的特性：
(1)基是一個能張成空間V的數(shù)量最小的向量集合
如果一組向量S能夠張成子空間V月帝，那么基中包含的向量數(shù)目小于或等于S中向量的數(shù)目。
(2)基是空間中數(shù)量最多的線性無關(guān)的向量集合
如果子空間V的基中向量的數(shù)量是k幽污，那么你不能找到比k個多的線性無關(guān)的向量集合嚷辅。
(3)子空間中任意的兩組基都包含相同數(shù)目的向量
這個如何證明呢？
1）假設(shè)子空間V中有兩組基A和B距误，個數(shù)分別是k和p簸搞；
2）因為A是子空間中的基，所以B中的所有向量都可以表示成A中向量的線性組合准潭，即有AC=B趁俊，C的列數(shù)為p，行數(shù)是k刑然；
3）假設(shè)存在一個p維向量x使得Cx=0寺擂，所以ACx=Bx=0因為B是基，所以Bx=0的解只能是零向量泼掠，所以C也是線性無關(guān)的怔软；
4）因為C中的列向量是k維的，p個k維的向量線性無關(guān)择镇，所以一定有p<=k挡逼；
5）同理k<=p，所以最終k=p腻豌，即A和B中向量的個數(shù)是相同的挚瘟。
(4)子空間V的基的向量的數(shù)量被稱為V的維度(dimension)
10.3 判斷一個集合是否為基
通過定義，我們可以判斷一個集合是否為基饲梭，需滿足兩個條件，向量之間線性無關(guān)焰檩，同時能夠張成空間V憔涉，前者容易判斷，后者較難判斷：
另一種思路析苫，假設(shè)對于一個子空間V兜叨，我們已經(jīng)知道它的維度為2穿扳，如果S是一個包含k個vector并且屬于V的一個子集，那么如果
1）S中的向量線性無關(guān)国旷，那么S是一個基
2）S能夠張成空間V矛物，那么S是一個基
10.4 三種空間的基和維度
我們之前介紹過對于一個矩陣的三個空間，行空間跪但、列空間以及零空間履羞，他們的基以及維度都是多少呢？
A的列空間
A的列空間的基是主列組成的集合屡久，維度就是主列的個數(shù)
A的零空間
A的零空間的的維度是Ax=0中自由變量的個數(shù)忆首，基看下面的圖片：
A的行空間
A的行空間的維度是化簡為簡約行階梯型之后非零行的個數(shù)，基就是簡約行階梯型中先導(dǎo)元素所在的行所組成集合被环。
這里我們可以得出一個結(jié)論糙及，矩陣A和其轉(zhuǎn)置的秩相等：
總結(jié)一下就是下面這樣子啦：
11、坐標(biāo)系
11.1 使用基表示向量
在n維空間中筛欢，我們可以使用基向量來表示坐標(biāo)系，這樣空間中的任意向量的坐標(biāo)都確定了版姑，但是對于同一向量柱搜，使用不同的坐標(biāo)系，其坐標(biāo)是不同的：
同理漠酿，在不同坐標(biāo)系下冯凹，同一個坐標(biāo)所代表的向量也不同：
當(dāng)基確定時，一個向量的坐標(biāo)也是唯一的炒嘲，由于基之間是線性無關(guān)的宇姚，因此證明如下：
在某一坐標(biāo)系B下，一個向量可以表示成其對應(yīng)的坐標(biāo)表示：
而我們最為常用的一種坐標(biāo)系就是直角坐標(biāo)系(Cartesian coordinate system)夫凸，通常表示如下：
那么根據(jù)任意坐標(biāo)系以及某一向量在該坐標(biāo)系下的坐標(biāo)浑劳，如何得到該向量呢？很簡單夭拌，該向量可以表示成基的線性組合魔熏，系數(shù)即為其坐標(biāo)：
那么，如何得到某一向量在任意坐標(biāo)系下的坐標(biāo)鸽扁，兩邊同乘B-1即可：
11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換
其實我們的向量就是在直角坐標(biāo)系下的坐標(biāo)表示蒜绽，所以其實直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換我們上一節(jié)已經(jīng)講過：
11.3 坐標(biāo)系與線性方程
我們之前所說的線性方程，都是相對于直角坐標(biāo)系所說的桶现，有時候有些問題直接在直角坐標(biāo)系下進(jìn)行求解并不容易躲雅，但是轉(zhuǎn)換到另一坐標(biāo)系下就會變得十分簡單，這就得到了通過坐標(biāo)系轉(zhuǎn)換來求解問題的思路：
我們舉個例子來說吧骡和，如果下圖中的T表示得到任意一個向量關(guān)于直線L的對稱向量：
直接求解這個問題非常難相赁，我們想要找的是一個矩陣A相寇，使得T(x)=Ax踊挠，直線如果不是橫軸或者縱軸的話赠幕，要找到這個矩陣A是十分困難的。但是如果直線是橫軸或者縱軸的話铐殃，這個問題就變得非常簡單绵脯。假設(shè)直線是橫軸佳励，那么要找的矩陣我們可以很容易寫出：
所以我們可以通過坐標(biāo)系變換，把直線L變成橫軸桨嫁，那么問題就簡單了：
所以我們在直角坐標(biāo)系下的這個變換矩陣A也就找到了植兰，此時我們可以稱兩個坐標(biāo)系下的變換矩陣是相似矩陣(Similar matrices)：
假設(shè)直線L為y=0.5x，那么求解過程如下：
12璃吧、特征值和特征向量
12.1 什么是特征值和特征向量
好了楣导，在寫這一節(jié)之前，我們看來想一下上一節(jié)的東西畜挨，我們說一個直角坐標(biāo)系下的向量v筒繁， 其在另一個坐標(biāo)系下的坐標(biāo)表示為Bv，這個B是該坐標(biāo)系下的基所做成的矩陣巴元，所以說矩陣可以表示一種線性變換(Linear Transformation)毡咏，它將一個向量在直角坐標(biāo)系下的坐標(biāo)表示轉(zhuǎn)換為另一坐標(biāo)系下的坐標(biāo)表示！
我們知道逮刨，任意非零向量都可以張成一條直線呕缭，有的向量在一個矩陣A作用后，偏離了其所張成的空間修己；但有的向量在矩陣A作用后恢总，還是在原有張成的空間，矩陣A只是對該向量起到了一定的伸縮作用睬愤，那么我們就說該向量是矩陣A的特征向量(Eigenvector)片仿，而這個伸縮作用的大小我們就稱為特征值(Eigenvalue)。所以我們知道尤辱，該向量所張成空間中的所有向量(零向量除外)都是該矩陣的特征向量砂豌。下面的例子中，經(jīng)過變換后橫軸沒有發(fā)生變化光督，所以橫軸的向量都是特征向量阳距，特征值為1。
好了结借，我們可以給出特征值和特征向量的定義了：
12.2 如何計算特征向量
假設(shè)我們已經(jīng)知道了特征值λ娄涩，我們可以根據(jù)Av=λv求解其對應(yīng)的特征向量：
而某一特征值λ的特征空間(Eigenspace)定義為(A-λIn)v=0的解集：
Eigenspace也可以說是λ所對應(yīng)的特征向量再加上零向量(特征向量不能是零向量)
12.3 檢查一個標(biāo)量是否為特征值
檢查一個標(biāo)量是否為特征值，只需要判斷其對應(yīng)的特征空間是否只有零向量即可：
12.4 計算特征值
如果一個標(biāo)量是矩陣A的特征值，那么他會滿足下面所有的條件：
那么如何計算一個矩陣的特征值呢蓄拣，這里要使用特征多項式(Characteristic Polynomial)，特征值是特征多項式的根努隙。即：
舉個例子：
這里我們可以得到一個性質(zhì)球恤，兩個相似矩陣的特征值是相同的，證明如下：
那么一個n階方陣有多少特征值呢荸镊？最多n個咽斧。如果一個n階方陣有n個特征值(包括重復(fù)值)，那么這n個特征值的的和等于矩陣的跡(trace,即矩陣主對角線的元素之和)躬存，同時张惹，這n個特征值的乘積等于矩陣的行列式。
對特征多項式進(jìn)行因式分解岭洲，我們可以得到如下重要的結(jié)論宛逗，一個特征值對應(yīng)的特征空間的維度，小于等于該特征值重復(fù)出現(xiàn)的次數(shù)盾剩。
舉例來說：
12.5 正定矩陣&半正定矩陣
如果一個矩陣的所有特征值都大于0雷激，那么這個矩陣被稱為正定矩陣(positive definite matrix)，如過特征值都大于等于0告私，則稱為半正定矩陣屎暇。
那么正定或者半正定矩陣的含義是什么呢？這里我們以正定矩陣為例驻粟。我們知道一個矩陣的A代表一種線性變化根悼，那么如果一個矩陣是正定的，就有xTAx>0,假設(shè)x在經(jīng)過A的變換后變?yōu)閥蜀撑，那么xTy>0挤巡，即x和y的內(nèi)積大于0,或者說夾角小于90度。所以正定矩陣的直覺代表一個向量經(jīng)過它的變化后的向量與其本身的夾角小于90度屯掖。
13玄柏、對角化
13.1 可對角化
如果一個n階方陣A可以變?yōu)锳=PDP-1,其中D是n階對角矩陣，P是n階可逆方陣贴铜，那么A就是可對角化的(diagonalizable)粪摘。但并非所有的矩陣都可以進(jìn)行對角化：
如果A是可對角化的，那么P中的列向量是A的特征向量绍坝，D中對角線元素是A的特征值徘意，證明如下：
同時，我們可以得到如下結(jié)論：
13.2 可對角化的性質(zhì)
本節(jié)我們介紹幾個重要的性質(zhì)轩褐，
1)不同特征值對應(yīng)的特征向量之間線性無關(guān)椎咧。
2)如果一個矩陣A可對角化，那么其特征值對應(yīng)的特征空間的維度，等于該特征值重復(fù)出現(xiàn)的次數(shù)勤讽。
3)如果一個矩陣A可對角化蟋座，那么Am = PDmP-1。
我們首先來看第一個性質(zhì)：
我們可以假設(shè)他們之間線性相關(guān)來進(jìn)行反證：
再來看第二個性質(zhì)：
14脚牍、正交
14.1 范數(shù)和距離
我們常用范數(shù)(Norm)來表示矩陣的長度向臀，其中最常用的是二范數(shù)：
兩個向量的距離，我們使用的一般是歐式距離：
14.2 點積和正交
點積(Dot Product)的計算如下：
兩個向量是正交的(Orthogonal)诸狭，如果兩個向量的點積是0券膀，那么零向量和任何向量都是正交的。
點積具有如下的性質(zhì)：
同時驯遇，如果兩個向量是正交的芹彬，那么有如下性質(zhì)：
在三角形中，我們有著名的三角不等式叉庐，兩條邊長度之和大于第三條邊的長度舒帮，所以我們有：
14.3 正交補(bǔ)
對于一個非空的向量集合S，該集合的正交補(bǔ)(Orthogonal Complement)定義為：
關(guān)于正交補(bǔ)眨唬，我們有如下性質(zhì)：
所以說会前，對于n維空間中的向量，我們都可以進(jìn)行拆解：
14.4 正交投影
正交投影(Orthogonal Projection)通過下面的圖片很容易理解,如果向量u像子空間W做正交投影匾竿，其投影的結(jié)果就是w瓦宜。
正交投影有一個很重要的性質(zhì)就是，u在子空間W上的正交投影向量岭妖，是與u距離最近的临庇，觀察下圖可以看出，直角三角形斜邊的長度總是大于直角邊的：
14.5 如何做正交投影
如何得到一個向量在另一個子空間上的正交投影呢昵慌，從一個向量得到另一個向量假夺，我們不妨中間乘了一個變換矩陣Pw，即w=Pwu斋攀。所以關(guān)鍵是變成如何尋找這個矩陣
Pw已卷。
好了，我們這里直接給出結(jié)論淳蔼，然后再進(jìn)行證明：
證明如下侧蘸，證明中的第一步是因為u-w是垂直于子空間W中所有向量的，因此自然垂直于C中所有的列向量鹉梨，因此CT(u-w)=0：
14.6 正交投影的應(yīng)用-求解線性回歸
如果對于無解的線性方程組Ax=b讳癌，我們退而求其次，在A的列所張成的空間中找一個距離b最近的向量存皂，其實就是b在A上的正交投影晌坤。
這個思想可以用在我們機(jī)器學(xué)習(xí)中的線性回歸中。在進(jìn)行線性回歸時，我們往往希望殘差平方和最小骤菠，即：
這里的C是我們的訓(xùn)練數(shù)據(jù)它改，訓(xùn)練數(shù)據(jù)的矩陣表示相當(dāng)于線性方程組的A，要找的參數(shù)a相當(dāng)于線性方程組的x商乎，實際值y相當(dāng)于線性方程組的b搔课。根據(jù)我們上一節(jié)求解正交投影的方式，Ca的值應(yīng)該等于y在C張成空間中的正交投影截亦，因此，我們可以直接計算得到參數(shù)的值：
14.7 正交基
如果一組向量中任意兩個向量都是正交的柬讨，那么我們可以稱這組向量為正交集(Orthogonal Set)崩瓤。不含零向量的正交集中的向量是線性無關(guān)的，證明如下：
如果正交集中所有的向量長度都為1踩官，那么這個集合被稱為標(biāo)準(zhǔn)正交集(Orthonormal Set)却桶，標(biāo)準(zhǔn)正交集中的向量當(dāng)然也是線性無關(guān)的。
因為正交集／標(biāo)準(zhǔn)正交集中的向量是線性無關(guān)的蔗牡，那么如果一個子空間的基是正交／標(biāo)準(zhǔn)正交的颖系，那么這個基被稱為正交基(Orthogonal Basis)/標(biāo)準(zhǔn)正交基(Orthonormal Basis)。
如果一個基是正交的辩越，那么我們可以很快的求解出子空間中一個向量的坐標(biāo)：
如果u是任意向量嘁扼，那么u在子空間中的正交投影也很容易計算得出：
我們可以將我們之前得到的投影變換矩陣進(jìn)行改寫：
如何把一個普通的基轉(zhuǎn)換為正交基呢，方法如下：
14.8 正交矩陣
我們之前提到過黔攒，矩陣其實代表一種線性變換趁啸，如果將這種變換作用在任意的向量u上，不改變向量u的長度的話督惰，我們就說該線性變換具有Norm-preserving(這里不清楚怎么翻譯不傅，暫且翻譯為范數(shù)不變性)。注意赏胚，這樣的u是任意的向量访娶，比如旋轉(zhuǎn)和對稱反轉(zhuǎn)操作就不會改變?nèi)魏蜗蛄康姆稊?shù)：
顯然，具有范數(shù)不變性的矩陣觉阅，其必有一個特征值為+1或者-1 崖疤。
一個n階的方陣Q，如果它的列是可以張成n維空間的標(biāo)準(zhǔn)正交基留拾，我們就稱Q為正交矩陣(orthogonal matrix)戳晌。
例如，下面的矩陣就是一個正交矩陣：
范數(shù)不變性和正交矩陣是什么關(guān)系呢痴柔？答案是：如果一個矩陣具有范數(shù)不變性沦偎，那么它是正交矩陣，反之如果一個矩陣是正交矩陣，那么該矩陣具有范數(shù)不變性豪嚎。接下來搔驼，我們分別證明這兩點。
第一點：如果一個矩陣具有范數(shù)不變性侈询，那么它是正交矩陣
證明一個矩陣是正交矩陣無非就是證明兩點舌涨，每一列的長度都為1，任意兩列都是正交的扔字。
證明每一列長度都為1:
證明任意兩列正交：
第二點：如果一個矩陣是正交矩陣囊嘉，那么該矩陣具有范數(shù)不變性
首先，我們很容易知道革为，對于一個正交矩陣Q扭粱，QT=Q-1，根據(jù)下面的推導(dǎo)可以得到正交矩陣一定具有范數(shù)不變性：
剛才我們說到了震檩，對于一個正交矩陣Q琢蛤，QT=Q-1，這個條件其實可以用來判斷一個矩陣是否為正交矩陣抛虏。根據(jù)這個條件博其，可以得到，如果一個矩陣是正交矩陣迂猴，那么其轉(zhuǎn)置仍然是正交矩陣慕淡。這時我們只要檢查一下(QT)T=(QT)-1是否成立就好了。很顯然是成立的错忱，因為轉(zhuǎn)置的逆等于逆的轉(zhuǎn)置儡率。
所以對一個正交矩陣，有如下三點性質(zhì)：
1)行和列都是正交的范數(shù)為1的向量
2)范數(shù)不變性
3)其轉(zhuǎn)置等于其逆矩陣
14.9 對稱矩陣
如果一個矩陣的轉(zhuǎn)置等于其本身以清，那么這個矩陣被稱為對稱矩陣(symmetric matrices)儿普。
對于對稱矩陣來說，它的特征值都是實數(shù)：
同時掷倔，不同的特征根所對應(yīng)的特征向量眉孩，是正交的：
對稱矩陣一定是可以對角化的(相關(guān)的證明網(wǎng)上可以找到，這里就不證明了)勒葱，我們之前介紹過浪汪，對于一個可對角化的矩陣，它的特征向量之間都是線性無關(guān)的凛虽，根據(jù)這個性質(zhì)死遭，如果一個n階對稱陣有n個不同特征值的話，其對應(yīng)的特征向量是兩兩正交的凯旋，那么其組成的矩陣就可以是一個正交矩陣呀潭，如果存在重根钉迷，其對應(yīng)的特征向量之間不一定是正交的，但總是可以通過正交化的方式轉(zhuǎn)換成正交的钠署。因此對于對稱矩陣來說糠聪，之前講過的對角化的方式可以變?yōu)椋?/p>
15、奇異值分解
15.1 什么是奇異值分解谐鼎？
我們之前介紹的對角化舰蟆，只能針對方陣，那么對于非方陣來說狸棍，我們可不可以用類似對角化的方式對矩陣進(jìn)行分解呢身害？這里就用到了奇異值分解(Singular value decomposition ,SVD)的技術(shù)。
奇異值分解如下草戈，一個m*n的矩陣A可以分解為一個m階的正交矩陣题造，一個m*n的對角矩陣(類似于對角矩陣吧)和一個n階的正交矩陣：
那這三個矩陣分別要怎么求呢？我們參考劉建平老師的文章(https://www.cnblogs.com/pinard/p/6251584.html)：
奇異值通常用于降維猾瘸，也就是說，我們不需要所有的奇異值來描述矩陣丢习，而是通過少數(shù)的幾個比較大的奇異值就可以牵触，此時效果如下：
好了，本文的線性代數(shù)知識就帶你復(fù)習(xí)到這里咐低，真的建議大家去聽一下李宏毅老師的線性代數(shù)課揽思，講的還是十分清晰的。
參考文獻(xiàn)
1见擦、http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
2钉汗、https://www.cnblogs.com/pinard/p/6251584.html
