前言：
線代知識點多，有點抽象杭棵，寫的時候盡量把這些知識點串起來婚惫，如果不行，那就兩串魂爪。其包含的幾大對象為：向量先舷，行列式，矩陣滓侍，方程組蒋川。
-
觀點
核心問題是求多元方程組的解，核心知識：內(nèi)積撩笆、秩捺球、矩陣求逆，應(yīng)用：求解線性回歸夕冲、最小二乘法用QR分解氮兵，奇異值分解SVD，主成分分析（PCA）運用可對角化矩陣
-
向量
-
基礎(chǔ)
向量：是指具有n個互相獨立的性質(zhì)(維度)的對象的表示歹鱼，向量常使用字母+箭頭的形式進(jìn)行表示泣栈，也可以使用幾何坐標(biāo)來表示向量。
單位向量：向量的模、模為一的向量為單位向量
內(nèi)積又叫數(shù)量積南片、點積：為一個數(shù)
image.png
正交向量：內(nèi)積為零
應(yīng)用
向量組和特征向量-
矩陣
定義：描述線性代數(shù)中線性關(guān)系的參數(shù)掺涛，即矩陣是一個線性變換， 可以將一些向量轉(zhuǎn)換為另一些向量疼进。 Y=AX表示的是向量X和Y的一種映射關(guān)系薪缆，其中A是 描述這種關(guān)系的參數(shù)。
Y=AX這個在向量組線型相關(guān)中經(jīng)常見到
直觀表示：
- 矩陣和向量
當(dāng)m=1或者n=1的時候颠悬，稱A為行向量或者列向量 - 方陣 負(fù)矩陣矮燎，上下三角矩陣 對角矩陣 單位矩陣
行列式變換會用到三角矩陣
區(qū)分單位向量 - 矩陣的轉(zhuǎn)置
-
行列式
通常用到的行列式是一個數(shù)
行列式是數(shù)學(xué)的一個函數(shù)，可以看作在幾何空間中赔癌，一個線性變換 對“面積”或“體積”的影響诞外。
- 方陣行列式
n階方陣A的方陣行列式表示為|A|或者det(A) -
代數(shù)余子式
：Aij=(-1)(i+j)Mij
image.png -
伴隨矩陣
為了求矩陣的逆
image.png -
方陣的逆
AB=BA=E，那么稱B為A的逆矩陣灾票，而A被稱為可逆矩陣或非奇異矩陣峡谊。 如果A不存在逆矩陣，那么A稱為奇異矩陣刊苍。A的逆矩陣記作：A-1
image.png
-
矩陣的初等變換
矩陣的初等列變換與初等行變換統(tǒng)稱為初等 變換．
-
行階梯形矩陣 最簡矩陣 標(biāo)準(zhǔn)行
前者來求變量之間的關(guān)系既们，后者計算矩陣的秩
定理（1）表明 ，即A 經(jīng)一系列初等行變換 變?yōu)锽,則 有可逆矩陣P,使 如何求P正什？
image.png -
矩陣的秩
K階子式是個行列式
image.png
-
向量組
向量組：有限個相同維數(shù)的行向量或列向量組合成的一個集合就 叫做向量組
-
向量的線性表示
image.png
轉(zhuǎn)化為方程組為：
image.png
同理：如果向量組B 可由向量組A表示則
image.png
AX=B 有解
-
線性相關(guān)和線性無關(guān)
image.png
用秩來判斷是否相關(guān)
image.png
-
線性方程組
定理 1：
n 元齊次線性方程組 Ax = 0 有非零 解的充要條件是 R(A) < n
推論 當(dāng) m < n 時啥纸，齊次線性方程組 一定有非零解
定理 2：
n 元線性方程組 Ax = b
(i) 無解的充要條件是 R(A) < R(A，b) ;
(ii) 有唯一解的充要條件是
R(A) = R(A婴氮，b) = n ;
(iii) 有無窮多解的充要條件是
R(A) = R(A斯棒，b) < n
-
解得結(jié)構(gòu)
image.png
image.png
-
特征值和特征向量
A為n階矩陣，若數(shù)λ和n維非0列向量x滿足Ax=λx主经，那么數(shù)λ稱為A 的特征值荣暮，x稱為A的對應(yīng)于特征值λ的特征向量
-
特征值的性質(zhì)
(1)n階方陣A=(aij)的所有特征根λ1、λ2.....λn罩驻，則有
image.png
(2)若λ是可逆矩陣A的一個特征根穗酥，x為對應(yīng)的特征向量： 則1/λ是矩陣A-1的一個特征根，x仍為對應(yīng)的特征向量惠遏。 則λm次方是矩陣Am次方的一個特征根砾跃，x仍為對應(yīng)的特征向量。
(3)設(shè)λ1节吮、λ2.....λn是方陣A的互不相同的特征值抽高，xi是λi的特征向量，則 x1,x2...xn線性無關(guān)课锌，即不相同特征值的特征向量線性無關(guān)
-
幾個特殊矩陣
-
可對角化矩陣
image.png - 正定矩陣
對于n階方陣A，若任意n階向量x，都有xTAx>0渺贤，則稱矩陣A為正 定矩陣 - 正交矩陣
若n階方陣A滿足ATA=E雏胃，則稱A為正交矩陣，簡稱正交陣（復(fù)數(shù)域 上稱為酉矩陣）
A是正交陣的充要條件：A的列(行)向量都是單位向量志鞍，且兩兩正交 -
QR 分解（正交三角分解）
對于m*n的列滿秩矩陣A瞭亮，必有：
用到施密特正交化
-
奇異值分解
可以看作是對稱方陣在任意矩陣上的推廣。
與特征值固棚、特征向量的概念相對應(yīng)统翩，則：
Σ對角線上的元素稱為矩陣A的奇異值
U和V稱為A的左/右奇異向量矩陣
-
矩陣的等價標(biāo)準(zhǔn)型
image.png -
步驟
求特征值和特征向量
特征向量構(gòu)成V1，求出U1
image.png
-
向量的導(dǎo)數(shù)
A為mn的矩陣此洲，x為n1的列向量厂汗，則Ax為m*1的列向量
-
向量的偏導(dǎo)公式
image.png
image.png - 標(biāo)量對方陣的導(dǎo)數(shù)
image.png
后記：
才疏學(xué)淺，慢慢學(xué)習(xí)呜师，慢慢更新娶桦，與諸君共勉
你可能感冒的文章：
我的機(jī)器學(xué)習(xí)numpy篇
我的機(jī)器學(xué)習(xí)matplotlib篇
我的機(jī)器學(xué)習(xí)微積分篇
