1 PCA步驟
PCA指的是給定一組數(shù)據(jù)白对，對數(shù)據(jù)進行降維
它分5步：
- 計算特征的協(xié)方差矩陣
- 計算協(xié)方差矩陣的特征值
- 計算特征值對應的特征向量
- 選取最大的k個特征值（k是你要降到的維度）對應的特征向量組成一個新矩陣
- 數(shù)據(jù)矩陣先進行中心化（center）再乘特征向量矩陣，構成一個新矩陣，即為降維后的數(shù)據(jù)
2 一個例子
假設我們現(xiàn)在拿到的數(shù)據(jù)一共有3個數(shù)據(jù)，分別是,
,
, 其中每個數(shù)據(jù)有兩個特征：
那么，我們的特征可以構成一個新矩陣：
2.1 計算協(xié)方差矩陣
我們首先計算協(xié)方差矩陣：
其中能真，n是樣本個數(shù)，可得：
2.2 計算特征值
接下來扰柠，計算特征向量粉铐， 令：
其中是單位陣，則有：
解得：
2.3 計算特征向量
求特征向量卤档，利用公式：
解得：
2.4 選取k個特征向量
這里蝙泼，我們只能選1個特征向量了，因為數(shù)據(jù)本來是2維的劝枣，只能降到1維汤踏，所以就選擇
2.5 計算PCA后的數(shù)據(jù)
先對原始數(shù)據(jù)進行中心化织鲸，每個元素都減去它本列的均值，可得(和原來一樣溪胶，因為每一列均值是1)
那么搂擦，PCA后的數(shù)據(jù)：
