1、PCA的基本想法

主成分分析（PCA）是常用的無監(jiān)督學習方法模狭，這一方法利用正交變換把由線性相關(guān)的變量表示的觀測數(shù)據(jù)轉(zhuǎn)換為少數(shù)幾個由線性無關(guān)變量表示的數(shù)據(jù)颈抚，線性無關(guān)的變量稱為主成分。

主成分分析中嚼鹉，首先對給定數(shù)據(jù)規(guī)范化贩汉，使得數(shù)據(jù)每一變量的平均值為0驱富，方差為1。之后對數(shù)據(jù)進行正交變換匹舞。新變量是可能的正交變換中變量的方差的和（信息保存）最大的褐鸥。在下圖的例子中，顯然在左圖中 $x_1$ 和 $x_2$ 是線性相關(guān)的赐稽，當知道其中一個變量 $x_1$ 的取值時叫榕，對另一個變量 $x_2$ 的預(yù)測不是完全隨機的，反之亦然姊舵。在旋轉(zhuǎn)后的新坐標系里晰绎，數(shù)據(jù)由變量 $y_1$ 和 $y_2$ 表示。主成分分析選擇方差最大的方向（第一主成分）作為新坐標系的第一坐標軸蠢莺，即 $y_1$ 軸寒匙，之后選擇與第一坐標軸正交且方差次之的方向（第二主成分）作為新坐標系第二坐標軸。在新坐標軸中躏将， $y_1$ 與 $y_2$ 線性無關(guān)锄弱，當知道其中一個變量 $y_1$ 的取值時，對另一個變量 $y_2$ 的預(yù)測是完全隨機的祸憋，反之亦然会宪。

關(guān)于PCA的解釋除了投影到一個超平面使得投影點方差最大以外，還有一種等價的解釋蚯窥，即所有樣本點到超平面的距離的平方和最小掸鹅。這一點從下圖中可以直觀的看出來。

方差最大指的是(注意標準化后均值為0)：

$\max({OA^{'}}^2+{OB^{'}}^2+{OC^{'}}^2)$

距離平方和最小指的是：

$\min({AA^{'}}^2+{BB^{'}}^2+{CC^{'}}^2)$

因為 $A拦赠、B巍沙、C$ 到原點距離固定，因此以上兩個優(yōu)化目標完全等價荷鼠。

2句携、主成分的定義和性質(zhì)

假設(shè) $x=(x_1,x_2,\dots,x_m)^T$ 是 $m$ 維隨機變量，其均值向量為 $\mu$ ：

$\mu=E(x)=(\mu_1,\mu_2,\dots,\mu_m)^T$

協(xié)方差矩陣是 $\Sigma$ ：

$\Sigma=cov(x,x)=E[(x-\mu)(x-\mu)]$

考慮有 $m$ 維隨機變量 $x$ 到 $m$ 維隨機變量 $y=(y_1,y_2,\dots,y_m)^T$ 的線性變換：

$y_i=\alpha_i^T x=\alpha_{1i}x_1+\alpha_{2i}x_2+\dots+\alpha_{mi}x_m$

其中 $\alpha_{i}^T=(\alpha_{1i},\alpha_{2i},\dots,\alpha_{mi}),i=1,2,\dots,m$

由隨機變量性質(zhì)有：

$E(y_i)=\alpha_i^T\mu,\quad i=1,2,\dots,m$

$var(y_i)=\alpha_i^T\Sigma\alpha_i,\quad i=1,2,\dots,m$

$cov(y_i,y_j)=\alpha_i\Sigma\alpha_j,\quad i=1,2,\dots,m,\quad j=1,2,\dots,m$

總體主成分定義如下：

給定 $y_i=\alpha_i^T x=\alpha_{1i}x_1+\alpha_{2i}x_2+\dots+\alpha_{mi}x_m$ 所示的線性變換允乐，如果它滿足：

（1） $\alpha_i^T\alpha_i=1,\quad i=1,2,\dots,m$ （即線性變換是正交變換）

（2） $cov(y_i,y_j)=0(i\neq j)$ （即變換后的各變量互相正交）

（3）變量 $y_1$ 是 $x$ 的所有線性變換中方差最大的矮嫉， $y_2$ 是與 $y_1$ 不相關(guān)的 $x$ 的所有線性變換中方差最大的；一般地牍疏， $y_i$ 是與 $y_1,y_2,\dots,y_{i-1}$ 都不相關(guān)的 $x$ 的所有所有線性變換中方差最大的蠢笋。

此時分別稱 $y_1,y_2,\dots,y_m$ 為 $x$ 的第一主成分、第二主成分……第m主成分鳞陨。

總體主成分有何性質(zhì)呢昨寞？

定理1 設(shè) $x$ 是 $m$ 維隨機變量， $\Sigma$ 是 $x$ 的協(xié)方差陣， $\Sigma$ 的特征值分別是 $\lambda_1\geq \lambda_2\geq \dots\geq \lambda_m\geq 0$ 编矾，特征值對應(yīng)的單位特征向量分別為 $\alpha_1,\alpha_2,\dots,\alpha_m$ 熟史，則 $x$ 的第 $k$ 主成分為：

$y_k=\alpha_k^T x,\quad k=1,2,\dots,m$

$x$ 的第 $k$ 主成分的方差為：

$var(y_k)=\alpha_k^T\Sigma\alpha_k=\lambda_k,\quad k=1,2,\dots,m$

證明：

求第一主成分就是求解約束最優(yōu)化問題：

$\begin{alignat*}{2} \max_{\alpha_1} \quad & \alpha_1^T\Sigma\alpha_1\\ \mbox{s.t.}\quad &\alpha_1^T \alpha_1=1\\ \end{alignat*}$

定義拉格朗日系數(shù)：

$\alpha_1^T\Sigma\alpha_1-\lambda(\alpha_1^T\alpha_1-1)$

將拉格朗日系數(shù)對 $\alpha_1$ 求導(dǎo)令其為0：

$\Sigma\alpha_1-\lambda\alpha_1=0$

因此 $\lambda$ 是 $\Sigma$ 的特征值馁害， $\alpha_1$ 是對應(yīng)的單位特征向量窄俏，于是目標函數(shù)為：

$\alpha_1^T\Sigma\alpha_1=\alpha_1^T\lambda\alpha_1=\lambda\alpha_1^T\alpha_1=\lambda$

假設(shè) $\alpha_1$ 是 $\Sigma$ 的最大特征值 $\lambda_1$ 對應(yīng)的單位特征向量。顯然 $\alpha_1$ 與 $\lambda_1$ 是最優(yōu)化問題的解碘菜。因此 $\alpha_1^T x$ 構(gòu)成第一主成分凹蜈。

接著求第二主成分 $y_2=\alpha_2^T x$ ，第二主成分的 $\alpha_2$ 是在 $\alpha_2^T\alpha_2=1$ 且 $\alpha_2^T x$ 與 $\alpha_1^T x$ 不相關(guān)的條件下使得方差 $var(\alpha_2^T x)$ 達到最大的忍啸。

求第二主成分需要求解約束最優(yōu)化問題：

$\begin{alignat*}{2} \max_{\alpha_2} \quad & \alpha_2^T\Sigma\alpha_2\\ \mbox{s.t.}\quad &\alpha_2^T \alpha_2=1\\ &\alpha_2^T \alpha_1=0\\ \end{alignat*}$

定義拉格朗日函數(shù)：

$\alpha_2^T\Sigma\alpha_2-\lambda(\alpha_2^T\alpha_2-1)-\phi\alpha_2^T\alpha_1$

對 $\alpha_2$ 求導(dǎo)并令其為0：

$2\Sigma\alpha_2-2\lambda\alpha_2-\phi\alpha_1=0$

左乘 $\alpha_1^T$ 得到：

$2\alpha_1^T\Sigma\alpha_2-2\lambda\alpha_1^T\alpha_2-\phi\alpha_1^T\alpha_1=0$

因為 $\alpha_1^T\Sigma\alpha_2=\alpha_2^T\Sigma\alpha_1=\alpha_2\lambda_1\alpha_1=\lambda_1\alpha_2^T\alpha_1=0$ 仰坦，且 $\alpha_1^T\alpha_1=1$ ，故：

$\phi=0$

從而：

$\Sigma\alpha_2-\lambda\alpha_2=0$

這和第一主成分的求解完全類似计雌，設(shè) $\alpha_2$ 為 $\Sigma$ 的第二大特征值 $\lambda_2$ 對應(yīng)的特征向量悄晃，則顯然 $\alpha_2$ 與 $\lambda_2$ 是上式的解遇骑。于是 $\alpha_2^T x$ 構(gòu)成 $x$ 的第二主成分牡属。

一般地查近， $x$ 的第k主成分為 $\alpha_k^T x$ 击碗，且 $var(\alpha_k^T x)=\lambda_k$ 届吁，這里 $\lambda_k$ 是 $\Sigma$ 的第 $k$ 大特征值且 $\alpha_k$ 是對應(yīng)的單位特征向量育苟。

由此可以得出總體主成分的幾個性質(zhì)：

（1）總體主成分 $y$ 的協(xié)方差陣是對角陣：

$cov(y)=\Lambda=diag(\lambda_1,\lambda_2,\dots,\lambda_m)$

（2）總體主成分 $y$ 的方差之和等于隨機變量 $x$ 的方差之和：

$\sum_{i=1}^m \lambda_i=\sum_{i=1}^m \sigma_{ii}$

這里 $\sigma_{ii}$ 是隨機變量 $x_i$ 的方差慢逾，即協(xié)方差陣 $\Sigma$ 的對角元素歧强。

（3） $y_k$ 與 $x_i$ 的相關(guān)系數(shù) $\rho(y_k,x_i)$ 稱為因子負荷量反番，它表示兩者的相關(guān)關(guān)系：

$\rho(y_k,x_i)=\frac{\sqrt{\lambda_k}\alpha_{ik}}{\sqrt{\sigma_{ii}}}$

推導(dǎo)如下：

$\rho(y_k,x_i)=\frac{cov(y_k,x_i)}{\sqrt{var(y_k)var(x_i)}}=\frac{cov(\alpha_k^T x,e_i^T x)}{\sqrt{\lambda_k \sigma_{ii}}}$

其中 $e_i$ 為基本單位向量沙热，第 $i$ 個分量為1，其它分量為0罢缸，由協(xié)方差性質(zhì)：

$cov(\alpha_k^T x,e_i^T x)=\alpha_k^T\Sigma e_i=e_i^T\Sigma\alpha_k=\lambda_k e_i^T\alpha_k=\lambda_k\alpha_{ik}$

代入上式即得結(jié)論篙贸。

（4） $y_k$ 與 $m$ 個變量的因子負荷量滿足：

$\sum_{i=1}^m \sigma_{ii}\rho^2(y_k,x_i)=\lambda_k$

（5） $m$ 個主成分與 $x_i$ 的因子負荷量滿足：

$\sum_{k=1}^m \rho^2(y_k,x_i)=1$

3、相關(guān)矩陣的特征值分解算法

之前我們考慮的主成分分析都是在總體上進行的枫疆，應(yīng)用中我們需要在觀測數(shù)據(jù)上進行主成分分析爵川。

假設(shè)對 $m$ 維隨機變量 $x$ 進行 $n$ 次獨立觀測得到觀測樣本 $x_1,x_2,\dots,x_n$ ，觀測數(shù)據(jù)用 $X$ 表示：

$X=[x_1\quad x_2\quad \dots\quad x_n]$

相關(guān)矩陣的特征值分解算法流程如下：

（1）對觀測數(shù)據(jù) $X$ 進行規(guī)范化處理养铸。

（2）依據(jù)規(guī)范化矩陣雁芙，計算樣本相關(guān)矩陣 $R$ ：

$R=\frac{1}{n-1}XX^T$

（3）求 $R$ 的 $k$ 個特征值 $\lambda_i$ 和對應(yīng)的 $k$ 個單位特征向量 $\alpha_i$ 。

（5）計算 $n$ 個樣本的 $k$ 個主成分值：

$y_{ij}=\alpha_i^T x_j,\quad i=1,2,\dots,k,\quad j=1,2,\dots,n$

4钞螟、數(shù)據(jù)矩陣的奇異值分解算法

給定樣本矩陣 $X$ 兔甘，并假設(shè)有 $k$ 個主成分。

定義一個新的 $n\times m$ 矩陣 $X^{'}$ :

$X^{'}=\frac{1}{\sqrt{n-1}}X^T$

$X^{'}$ 的每一列均值為0鳞滨，不難得知：

${X^{'}}^TX^{'}=\frac{1}{n-1}X^TX$

即 ${X^{'}}^TX^{'}$ 等于 $X$ 的協(xié)方差陣 $S_X$ ：

$S_X={X^{'}}^TX^{'}$

所以問題轉(zhuǎn)化為求矩陣{X^{'}}TX^{'}的特征值和特征向量洞焙。

假設(shè) $X^{'}$ 的截斷奇異值分解為 $X^{'}=U\Sigma V^T$ ，那么 $V$ 的列向量就是 ${X^{'}}^TX^{'}$ 的單位特征向量。因此 $V$ 的列向量就是 $X$ 的主成分澡匪。

具體算法如下：

（1）構(gòu)造新的 $n\times m$ 矩陣 $X^{'}$ ：

$X^{'}=\frac{1}{\sqrt{n-1}}X^T$

（2）對矩陣 $X^{'}$ 進行截斷奇異值分解：

$X^{'}=U\Sigma V^T$

（3）求 $k\times n$ 樣本主成分矩陣：

$Y=V^T X$