特征分解
概念
特征分解是矩陣的分解的一種,目的是將一個矩陣拆分成幾個矩陣乘積的形式蚯瞧,就好像是我們對標量(scalar)做因式分解一樣。
目的
之所以要做特征分解,一方面是要從矩陣的分解中找出隱含的規(guī)律煌茴,另一方面就是對矩陣進行轉(zhuǎn)換。轉(zhuǎn)成容易處理的形式日川。
矩陣初等變換
學過線型代數(shù)的人都知道蔓腐,矩陣的初等變換其實就是對單位矩陣進行伸縮變換,行變換就是對矩陣進行單位矩陣進行左乘龄句,相應(yīng)列變換就是對矩陣進行右乘回论。
特征向量和特征值
如果一個矩陣A 滿足如公式:
,則成
為特征向量分歇,
就是特征值
從這個公式我們可以看出:
- 矩陣
和 向量
共線傀蓉,
- 向量
經(jīng)過N次初定初定變換(左乘A),可以變化成
- 根據(jù)1,2 可以知道,矩陣A 把向量
進行了拉長或者縮短职抡,而這個拉長或者縮短的比例就是
- 矩陣A并沒有改變向量
的方向葬燎,當
為負數(shù)時方向相反
矩陣分解
一個矩陣可以有多個特征值,如果是N維矩陣缚甩,則一定有n個特征值(包括重根)
將上面公式合并寫成矩陣形式:
移項后得到
到此我們將矩陣A分解成三部分乘積形式谱净,其中表示以所有特征向量為列向量組成的矩陣,
表示三角矩陣擅威,對角線值為特征值壕探,
表示
的逆矩陣。
限制
- 矩陣A必須是方陣郊丛,因為只有方陣才有逆矩陣
- 并不是所有方陣李请,都有逆矩陣
由以上兩點可以看出特征分解雖好瞧筛,但是并不通用
應(yīng)用
因為特征值表示矩陣對向量的拉伸程度,所以可以直觀的認為當特征值大時表示該向量方向占比比較大(主要)捻艳,當特征小時該特征向量占比較屑菘摺(次要)。所以特征分解可以對矩陣進行降維认轨,去掉特征值較小的特征向量绅络。具體做法如下:
- 求出矩陣A的所有特征值和特征向量
- 對特征值從大到小排列,并相應(yīng)改變特征向量次序
- 截取給定閾值的特征值嘁字,舍棄小于閾值的特征向量