Chapter 4 Vector Spaces
Theorems
- If v1, ... ,vp are in a vector space V, then Span{v1, ... ,vp} is a subspace of V.
張成集性質(zhì)，說(shuō)明張成集是一個(gè)子空間。向量空間的一些向量的張成集必定是這個(gè)向量空間的子集吝羞。
- The null space of an m*n matrix A is a subspace of Rn. Equivalently, the set of all solutions to a system Ax = 0 of m homogeneous linear equations in n unknowns is a subspace of Rn.
一個(gè)m*n的矩陣A的零空間是Rn的子空間。（定義域的感覺(jué)）
- The column space of an m*n matrix A is a subspace of Rm.
一個(gè)m*n矩陣的列空間是Rm的子空間脆粥。（值域的感覺(jué)）
- An indexed set {v1, ... , vp} of two or more vectors, with v1 != 0, is linearly depedent if and only if some vj (with j > 1) is a linear combination of the preceding vectors, v1, ... , vj-1.
線(xiàn)性相關(guān)性定理，有一個(gè)向量是前面不全為零向量的線(xiàn)性組合，則集合線(xiàn)性相關(guān)
- 張成集定理
a.對(duì)于一個(gè)可以張成H的張成集中的一個(gè)向量v鸯两，是其余向量的線(xiàn)性組合忿项，那么去掉這個(gè)向量v蓉冈，這個(gè)張成集仍然可以張成H。（導(dǎo)致線(xiàn)性相關(guān)的老鼠屎可以去掉）
b.如果一個(gè)張成集不張成零子空間轩触， 那么這個(gè)張成集的某一個(gè)子集是H的一個(gè)基寞酿。（張成集中必有一個(gè)線(xiàn)性無(wú)關(guān)集）
- 矩陣A的主元列構(gòu)成Col A的一個(gè)基。（A化為階梯型后脱柱，階梯型的主元列通常不在Col A中）
- 唯一表示定理
向量空間中關(guān)于一組基的表示是唯一的伐弹，一組基對(duì)應(yīng)的線(xiàn)性組合的權(quán)是唯一的。
- 坐標(biāo)映射是一對(duì)一的線(xiàn)性變換 （例如從多項(xiàng)式空間到Rn空間的坐標(biāo)映射就是線(xiàn)性變換）（單射）
- 向量個(gè)數(shù)多于基的個(gè)數(shù)的向量集合必定線(xiàn)性相關(guān)（基是極大線(xiàn)性無(wú)關(guān)集）
- 同一個(gè)向量空間中榨为，基的個(gè)數(shù)是一樣多的
- 子空間維數(shù) ≤ 向量空間維數(shù)
- 基定理
在一個(gè)非零維的向量空間中惨好，一組基中，基的個(gè)數(shù) = 向量空間的維數(shù)
- 若兩個(gè)矩陣A和B行等價(jià)随闺，則他們的行空間相同日川。若B是階梯形矩陣， 則B的非零行構(gòu)成A的行空間的一個(gè)基的同時(shí)也是B的行空間的一個(gè)基矩乐。（行變換對(duì)矩陣的行不保持線(xiàn)性相關(guān)關(guān)系）
- 秩定理（m*n矩陣A）
rank A + dim Nul A = n 且 dim Row A = dim Col A = rank A = 主元位置的個(gè)數(shù)
Important skills
- Determine if a set of vectors spans (or is a basis for) Rn.
這個(gè)向量集合必須是線(xiàn)性無(wú)關(guān)集合
c1v1 + c2v2 + ... + cnvn = 0 當(dāng)且僅當(dāng) c1 = c2 = ... = cn = 0 - Determine if a set is a subspace (using theorem 1,2,or 3 inchapter 4).
只需判斷這個(gè)集合的向量的生成集是否是這個(gè)子空間 th3 th1
這個(gè)集合能否表示成另一個(gè)矩陣的零空間 th2 - Determine if a vector is in Nul *A *or in Col A.
零空間：Ax 是否 = 0
列空間：[A b]是否相容龄句，行化簡(jiǎn) - Determine if a set is a basis for a subspace.
- Find a basis for Nul *A *or in Col A, or other subspace.
零空間： 解Ax = 0 寫(xiě)出x的解集
列空間： 行化簡(jiǎn)[A 0] 主元位置對(duì)應(yīng)著A的主元列，A的主元列向量就是基的元素 - Find the coordinate vector of a vector relative to a basis.
x = Pβ[x]β 其中 β = {b1, ... ,bn}
那么[x]β = Pβ^-1x - Use coordinate vectors to check if a set is linearly independent.
- Find the dimension of Nul *A *,Col A, Row A, or other subspace.
- Determine the rank of a matrix.
(1)轉(zhuǎn)置后秩不變
(2)r(A)<=min(m,n),A是m*n型矩陣 秩最大不超過(guò)A的行數(shù)和列數(shù)中較少的那一個(gè)
(3)r(kA)=r(A),k不等于0
(4)r(A)=0 <=> A=0
(5)r(A+B)<=r(A)+r(B)
(6)r(AB)<=min(r(A),r(B))
(7)r(A)+r(B)-n<=r(AB) - Use the Rank Theorem to determine facts about a system of linear equations.
Chapter 5 Eigenvalues and Eigenvectors
Theorems
- 三角矩陣矩陣的主對(duì)角元素是其特征值 (不能用行化簡(jiǎn)來(lái)求特征值)
- 不同特征值對(duì)應(yīng)的特征向量線(xiàn)性無(wú)關(guān)
- 行列式的性質(zhì)：
只有是方陣才能談行列式：
A 可逆 <===> det A != 0
det AB = (det A)(det B) 這個(gè)重要
det A的轉(zhuǎn)置 = det A
行變換中倍加不會(huì)改變行列式的值
- 方陣A绰精、B相似
<===> 特征多項(xiàng)式相同
<===> 特征值相同（代數(shù)重?cái)?shù)也相同）
相似性和行等價(jià)不是一回事撒璧，行變換通常會(huì)改變特征值！笨使！
- 對(duì)角化定理
方陣A可對(duì)角化
<===> A有n個(gè)線(xiàn)性無(wú)關(guān)的特征向量
<===> 有足夠的特征向量形成Rn的基（特征向量基）
<===> 每個(gè)特征值對(duì)應(yīng)的 dim 特征空間 = 代數(shù)重?cái)?shù)
- n*n的一個(gè)方陣有n個(gè)不同的特征值 ===> 可對(duì)角化 （反推不成立）
- 對(duì)于n*n 方陣A
<===> 一個(gè)特征值對(duì)應(yīng)的dim 特征空間 小于等于 這個(gè)特征值的代數(shù)重?cái)?shù)
對(duì)角矩陣表示：
兩個(gè)舉證表示的相似性.png
Important skills
- Determine if a number (vector) is an eignenvalue (eigenvector)of a matrix.
｜A-λI｜ = 0 或驗(yàn)證方法 Ax = λx 則 λ是一個(gè)A的特征值 - Find the characteristic equation and eigenvalues of a 3×3matrix.
- Find an basis for an eigenspace.
- If A is diagonalizable, find *P *and D such that A=PDP^-1.
1.｜A-λI｜ = 0 得到λ的特征方程卿樱，計(jì)算出λ的值
- 對(duì)于每一個(gè)特征值單獨(dú)討論，解方程 (A-λI)x = 0 得到x的解集硫椰，并用向量表示出來(lái)繁调，得到的向量就是特征向量
3.用步驟2中的特征向量構(gòu)造P
4.用對(duì)應(yīng)的特征值構(gòu)造D
- Show how to compute high powers of a diagonalizable matrix.
A^k = PDk*P*-1 - Find the B-matrix [T]B of a linear transformation T:V→*V *relative toa basis *B of V.
1.計(jì)算出T(b1), T(b2), ... , T(bn) 先把B的分量線(xiàn)性變換過(guò)去
2.分別把這些分量做“相對(duì)于B”的處理萨蚕，合起來(lái)就是[T]B * - Find complex eigenvalues and corresponding eigenvectors.
求特征向量用倍數(shù)關(guān)系？ - A and B are similar, then A=PBP-1, and det(A-λI)= det(B-λI)
CHAPTER 6 Orthogonality and Least Squares
Theorems
- 內(nèi)積 uTv = u·v
- 勾股定理
定理三.png
- 非零向量構(gòu)成的正交集
===> 線(xiàn)性無(wú)關(guān)
- 一個(gè)子空間的向量y 可以分解成為 正交基的線(xiàn)性組合
且權(quán)值為
權(quán)值.png
- U的列向量是單位正交集 <===> UTU = I
- U的列單位正交
===> ||Ux|| = ||x|| 保長(zhǎng)度
===> (Ux)·(Uy) =** x·y** 保正交
任何列單位正交的方正 ===> 是正交矩陣
===> 行也單位正交
- 正交分解定理
正交分解定理
關(guān)鍵： 唯一表示性 W是Rn的一個(gè)子空間
正交投影只依賴(lài)于子空間的選擇蹄胰，而不依賴(lài)于基的選擇
最佳逼近定理
正交投影是 y尖 在W這個(gè)空間中 最接近y的一點(diǎn)
最佳逼近.png
定理10
U的列是正交的（不一定是單位的）岳遥，且構(gòu)成了W的基
定理11.png
- QR分解** R = QTA **
- 最小二乘解：
最小二乘解.png
Important skills
- Compute length of a vector, distance between two vectors.
- Normalize a vector.
- Check a set for orthogonality.
單位正交矩陣 U的轉(zhuǎn)置 = U的逆 - Compute the orthogonal projection onto a line (through 0) or other subspace.
- Decompose a vector into a component in the direction of ***u ***and a component orthogonal to u.
- Decompose a vector into the sum of a vector in W and a vector inW⊥.
- Determine if a set is orthogonal, normalize a vector, constructan orthonormal set from an orthogonal set.
線(xiàn)性無(wú)關(guān)集變到正交集，層層分解 - Know ||x||2=xTx=x?x. 有用
- Compute orthogonal projection of a vector onto a subspace,find the closest point in a subspace, find the distance from avector to a subspace, decompose a vector as in the orthogonalde composition theorem.
b尖 = proj Col A b 是最接近的向量 - Perform the Gram-Schmidt process on a linearly independentset of vectors.
v1 = x1;
v2 = x2 - (x2*v1)/(v1*v1)v1; 減去投影到span{v1}
v3 = x3 - (x3*v1)/(v1*v1)v1- (x3*v2)/(v2*v2)v2; 減去投影到span{v1裕寨，v2}
.... - Construct a *QR *factorization of a matrix.
1.把A的列向量化為正交向量 v1, v2, v3, ... ,vn
2.將正交向量單位化為 u1,u2,...,un
3.用u1,u2,...,un浩蓉，構(gòu)造Q。
4.將A左乘Q的轉(zhuǎn)置得到R宾袜。QTA = QT(QR) = IR = R - Find a least-squares solution to Ax=b, find the least-squareserror associated with this solution, know the normal equations,or solve it by QR factorization.
最小二乘解：法方程 AT Ax' = AT b
誤差為：||b - proj Col A b|| = ||b - Ax'||
利用QR分解求最小二乘解：Rx = QTb -
AT*A *is invertible if and only if the columns of *A *are lineraly independent.
Ax = 0 只有平凡解 可以推出 ATAx = 0 也只有平凡解 ATA是可逆矩陣
CHAPTER 7 Symmetric Matrices and Quadratic Forms
Theorems
- A是對(duì)稱(chēng)矩陣 <===> 不同特征空間的任意兩個(gè)特征向量正交
（至于同一個(gè)特征空間捻艳，沒(méi)有說(shuō)）
- 方陣A 可以正交對(duì)角化 <===> A是對(duì)稱(chēng)矩陣
- 譜定理：
A是對(duì)稱(chēng)矩陣（n×n的）
<===> 有n個(gè)實(shí)數(shù)特征值（包括重根）
<===> dim 特征空間 = λ 的代數(shù)重?cái)?shù)
- 主軸定理：
A是對(duì)稱(chēng)矩陣（n×n的）
===> 存在一個(gè)正交變量變換 x = Py，可以去除交叉項(xiàng)
- orthogonally diagonalize a symmetric matrix.
A是對(duì)稱(chēng)矩陣當(dāng)且僅當(dāng)A可正交對(duì)角化Ｇ烀ā认轨！
對(duì)稱(chēng)矩陣不同特征空間的向量是正交的！月培！
如何正交對(duì)角化一個(gè)對(duì)稱(chēng)矩陣A嘁字？
1.計(jì)算A的特征值和對(duì)應(yīng)的特征向量v1, v2, v3, ... ,vn
2.將同一特征值對(duì)應(yīng)的同一個(gè)特征空間的不同特征向量正交化z1, z2...
保證所有特征向量都是正交的。
3.將所有特征向量單位化得到u1,u2,...,un
4.用u1,u2,...,un杉畜，構(gòu)造P （相當(dāng)于是QR分解中的Q）
5.用對(duì)應(yīng)特征值構(gòu)造D
6.A = PDP^-1 = PDPT. - Find the matrix of the quadratic form. (Q(x)=xTAx)
- Classifying Quadratic Forms (positive definite , negative definite ,indefinite)
二次型與特征值
A的一個(gè)二次型是正定的當(dāng)且僅當(dāng)A的所有特征值都是正數(shù)纪蜒。
A的一個(gè)二次型是負(fù)定的當(dāng)且僅當(dāng)A的所有特征值都是負(fù)數(shù)。
A的一個(gè)二次型是不定的當(dāng)且僅當(dāng)A的既有正特征值又有負(fù)特征值此叠。
特征值之積 = 行列式霍掺， 行列式無(wú)法判斷二次型
det A = det PDP-1 = det(PP-1)det D = det D = λ1*λ2*...*λn - Make a change of x=Py transforms xTAx into a quadratic form with nocross-product term.
主軸定理：
對(duì)于對(duì)稱(chēng)矩陣A，存在一個(gè)正交變量變換 x = Py拌蜘， 它將二次型xTAx變換為不含交叉項(xiàng)的二次型yTDy
1.計(jì)算A的特征值和對(duì)應(yīng)的特征向量v1, v2, v3, ... ,vn
2.將同一特征值對(duì)應(yīng)的同一個(gè)特征空間的不同特征向量正交化z1, z2...
保證所有特征向量都是正交的。
3.將所有特征向量單位化得到u1,u2,...,un
4.用u1,u2,...,un牙丽，構(gòu)造P （相當(dāng)于是QR分解中的Q）
5.用對(duì)應(yīng)特征值構(gòu)造D = PTAP
6.二次型 Q(x) = xTAx = (Py)TA(Py) = yT PT A P y = yT D y
