奇異值分解（Singular Value Decomposition）

? ? 1.奇異值分解是矩陣分解的一種方法

? ? 2.特征值和特征向量：Ax=λx.矩陣的乘法最后可以用特征值來代替使用列粪，可以簡化很多運算梢褐。

? ? ? ? ①A必須是n×n的方陣狸捕；

? ? ? ? ②正常對方陣進行分解

? ? ? ? ③分解形式：A = W∑W的轉(zhuǎn)置

? ? 3.機器學習中大量數(shù)據(jù)集的行列不相同务嫡，即不是方陣，而是一個m×n的矩陣。SVD可以對矩陣進行分解键科。

? ? ? ? ①分解形式：A=UΣV的轉(zhuǎn)置浇衬，其中，A是m×n的矩陣十兢，U是m×m的矩陣趣竣，Σ是m×n的矩陣，V是n×n的矩陣旱物。

? ? ? ? ②U稱為左奇異變量遥缕，根據(jù)特征向量的求法，要求U特征向量必須是方陣宵呛，所以湊方陣,如下圖所示

? ? ? ? ③V稱為左奇異變量单匣，根據(jù)特征向量的求法，要求V特征向量必須是方陣宝穗，所以湊方陣,如下圖所示

? ? ? ? ? ? ④求解Σ特征值矩陣

? ? 4.矩陣的奇異值分解有什么意義户秤？

? ? ? ? ? ? ①SVD可以用于PCA降維，來做數(shù)據(jù)壓縮和去噪逮矛。也可以用于推薦算法鸡号，將用戶和喜好對應的矩陣做特征分解，進而得到隱含的用戶需求來做推薦须鼎。同時也可以用于NLP中的算法鲸伴，比如潛在語義索引（LSI）。

? ? 5.PCA降維晋控，需要找到樣本協(xié)方差矩陣XTX的最大的d個特征向量汞窗，然后用這最大的d個特征向量張成的矩陣來做低維投影降維。當樣本數(shù)多樣本特征數(shù)也多的時候糖荒，這個計算量是很大的杉辙。而SVD中求解非方陣矩陣，就是要求這個值，有一些SVD的實現(xiàn)算法可以不求先求出協(xié)方差矩陣XTX蜘矢，也能求出我們的右奇異矩陣V狂男。也就是說，我們的PCA算法可以不用做特征分解品腹，而是做SVD來完成岖食。這個方法在樣本量很大的時候很有效。實際上舞吭，scikit-learn的PCA算法的背后真正的實現(xiàn)就是用的SVD泡垃，而不是我們我們認為的暴力特征分解。

? ? 6.在處理數(shù)據(jù)集中左右奇異矩陣的作用：左奇異矩陣可以用于行數(shù)的壓縮羡鸥。相對的蔑穴，右奇異矩陣可以用于列數(shù)即特征維度的壓縮，也就是我們的PCA降維惧浴。

? ? 7.奇異值分解的優(yōu)點：SVD作為一個很基本的算法存和，在很多機器學習算法中都有它的身影，特別是在現(xiàn)在的大數(shù)據(jù)時代衷旅，由于SVD可以實現(xiàn)并行化捐腿，因此更是大展身手。

? ? 8.奇異值分解的缺點：分解出的矩陣解釋性往往不強柿顶，有點黑盒子的味道茄袖，不過這不影響它的使用.

主成分分析法（PCA）

? ? 1.概念：主成分分析（Principal components analysis，以下簡稱PCA）是最重要的降維方法之一嘁锯。在數(shù)據(jù)壓縮消除冗余和數(shù)據(jù)噪音消除等領域都有廣泛的應用宪祥。一般我們提到降維最容易想到的算法就是PCA.

? ? 2.作用：PCA顧名思義，就是找出數(shù)據(jù)里最主要的方面猪钮，用數(shù)據(jù)里最主要的方面來代替原始數(shù)據(jù)品山。具體的胆建，假如我們的數(shù)據(jù)集是n維的烤低，共有m個數(shù)據(jù)(x(1),x(2),...,x(m))(x(1),x(2),...,x(m))。我們希望將這m個數(shù)據(jù)的維度從n維降到n'維笆载，希望這m個n'維的數(shù)據(jù)集盡可能的代表原始數(shù)據(jù)集扑馁。我們知道數(shù)據(jù)從n維降到n'維肯定會有損失，但是我們希望損失盡可能的小

? ? 3.基于小于投影距離

? ? 4.基于最大投影方差

知識點補充：

? ? 1.協(xié)方差矩陣度量了兩個矩陣之間的相關性多大

? ? 2.方差度量了數(shù)據(jù)集的信息度凉驻，方差越大表示信息量越大腻要，數(shù)據(jù)比較隨機，信息熵越大涝登；方差越小表示信息量小雄家，數(shù)據(jù)比較統(tǒng)一，信息熵姓凸觥趟济；

? ? 3.特征值和特征向量求解方法：

????????????①定義：設A是n階矩陣乱投，如果數(shù)λ和n維非零列向量x使得關系式Ax=λx成立，那么顷编，這樣的數(shù)λ就稱為方陣A的特征值戚炫，非零向量x稱為A對應于特征值λ的特征向量。

? ? ? ? ? ? ②對關系式進行變換：(A-λE)x=0 其中E為單位矩陣媳纬。這是n個未知數(shù)n個方程的齊次線性方程組双肤，它有非零解的充要條件是系數(shù)行列式為0，即|A-λE|=0钮惠。帶入具體的數(shù)字或者符號茅糜，可以看出該式是以λ為未知數(shù)的一元n次方程，稱為方陣A的特征方程素挽，左端 |A-λE|是λ的n次多項式限匣，也稱為方陣A的特征多項式；

參考文獻

[1]?奇異值分解(SVD)原理與在降維中的應用

[2]?主成分分析（PCA）原理總結