這一章，作者就是在數(shù)學(xué)原理方面又細(xì)講了下主成分分析（PCA）
例子：雙胞胎身高
作者首先使用雙胞胎身高的例子來說明與PCA非常相似的降維與旋轉(zhuǎn)是怎么一回事
數(shù)據(jù)是一個(gè)
的矩陣宙枷，假設(shè)我們的目標(biāo)是尋找可以最大化
的一個(gè)
的向量
朝墩，且此向量滿足條件
训桶。這一過程可以看作是每一個(gè)樣本或者說是
的每一列向由
定義的子空間的投影不脯，也就是說我們其實(shí)是在尋找可以使樣本投影到子空間的坐標(biāo)間變異度最大的矩陣變化方式。（
我描述的可能有點(diǎn)繞惩系，還是看例子去理解吧位岔。)
我們先來看上圖的那些點(diǎn)是如何投影到twin1身高也就是的那個(gè)維度的：
mypar(1,1)
plot(t(Y), xlim=thelim, ylim=thelim,
main=paste("Sum of squares :",round(crossprod(Y[1,]),1)))
abline(h=0)
apply(Y,2,function(y) segments(y[1],0,y[1],y[2],lty=2))
points(Y[1,],rep(0,ncol(Y)),col=2,pch=16,cex=0.75)
注意那個(gè)
crossprod(Y[1,])計(jì)算的就是，也就是圖片最上方展示的平方和
那如果將投影的方向調(diào)整到雙胞胎身高差值的那個(gè)方向也就是上會(huì)怎樣堡牡？由于此時(shí)
不等于
抒抬，所以換
：
u <- matrix(c(1,-1)/sqrt(2),ncol=1)
w=t(u)%*%Y
mypar(1,1)
#注意此時(shí)再求投影到子空間的平方和時(shí)就該用`tcrossprod()`了
plot(t(Y),
main=paste("Sum of squares:",round(tcrossprod(w),1)),xlim=thelim,ylim=theli\
m)
abline(h=0,lty=2)
abline(v=0,lty=2)
abline(0,-1,col=2)
Z = u%*%w
for(i in seq(along=w)) segments(Z[1,i],Z[2,i],Y[1,i],Y[2,i],lty=2)
points(t(Z), col=2, pch=16, cex=0.5)
此時(shí)平方和僅為4.5，這么小也很正常晤柄，畢竟這個(gè)方向是與雙胞胎身高差相關(guān)的擦剑。最后我們?cè)僭囈幌?img class="math-inline" src="https://math.jianshu.com/math?formula=u_1%20%3D%20(1%2F%5Csqrt%7B2%7D%2C1%2F%5Csqrt%7B2%7D)%5ET" alt="u_1 = (1/\sqrt{2},1/\sqrt{2})^T" mathimg="1">：
u <- matrix(c(1,1)/sqrt(2),ncol=1)
w=t(u)%*%Y
mypar()
plot(t(Y), main=paste("Sum of squares:",round(tcrossprod(w),1)),
xlim=thelim, ylim=thelim)
abline(h=0,lty=2)
abline(v=0,lty=2) abline(0,1,col=2)
points(u%*%w, col=2, pch=16, cex=1)
Z = u%*%w
for(i in seq(along=w))
segments(Z[1,i], Z[2,i], Y[1,i], Y[2,i], lty=2)
points(t(Z),col=2,pch=16,cex=0.5)
當(dāng)時(shí)，這個(gè)投影的方向其實(shí)就與雙胞胎身高的平均值有關(guān)了芥颈，此時(shí)求得的坐標(biāo)平方和為158.1惠勒，比之前兩次嘗試所得平方和都大。
在本例當(dāng)中我們是一個(gè)一個(gè)去試的爬坑，但實(shí)際上并不用我們這么費(fèi)勁纠屋，之接用奇異值分解就行。
主成分
如果有正交向量可使平方和：
最大盾计，那么便是第一主成分售担，被用來計(jì)算主成分的權(quán)重
在這里被稱為負(fù)荷（loadings）赁遗，也可以被稱為第一主成分的方向（direction），也就是新坐標(biāo)族铆。
為了獲得第二主成分岩四，我們需重復(fù)上面的過程，但不同的是我們使用的是殘差：
那么第二主成分便是擁有如下性質(zhì)：
且可以使
最大的向量哥攘。
當(dāng)是一個(gè)
的矩陣時(shí)剖煌，第3，第4等等主成分都是這么計(jì)算的逝淹。
prcomp
我們除了可以使用SVD的方法去計(jì)算主成分末捣，還可以使用R語(yǔ)言提供的一個(gè)專用于計(jì)算主成分的函數(shù)prcomp()：
pc <- prcomp(t(Y)) #注意，prcomp函數(shù)行是樣本列是特征，所以在這里要先轉(zhuǎn)置一下
s <- svd(Y - rowMeans(Y))
mypar(1,2)
for (i in 1:nrow(Y)){
plot(pc$x[,1],s$d[i]*s$v[,1])
}
其中抚岗，pc$rotation便是負(fù)荷呻拌，與s$u相同：
pc$rotation
## PC1 PC2
## [1,] 0.7072304 0.7069831
## [2,] 0.7069831 -0.7072304
s$u
## [,1] [,2]
## [1,] -0.7072304 -0.7069831
## [2,] -0.7069831 0.7072304
而方差解釋度為pc$sdev：
pc$sdev
## [1] 1.2542672 0.2141882
閱讀原文請(qǐng)戳
