原理和過程
PAC主要用于線性降維陋葡，原理很簡(jiǎn)單如下圖所示：
PCA原理分析
解釋：
X：輸入矩陣，即原始數(shù)據(jù)，表示m個(gè)有n個(gè)維矩陣（n即是我們要降的維度）
C：是X的協(xié)方差矩陣
P：求C的特征值和特征向量侮穿，然后將特征向量按特征值的大小排列，取前面R個(gè)組成向量P（r為你希望降至的維數(shù)）饵隙，由矩陣論知識(shí)易知P為正交基撮珠。
Y：即為所求
D：是Y的協(xié)方差矩陣沮脖，對(duì)角線元素為C的特征值金矛，其余值為0
sklearn實(shí)現(xiàn)
>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components=2)
>>> pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)
>>> print(pca.explained_variance_ratio_)
[ 0.99244... 0.00755...]
>>> print(pca.singular_values_)
[ 6.30061... 0.54980...]
源代碼實(shí)現(xiàn)
定義PCA類
class PCA(object):
"""定義PCA類"""
def __init__(self, x, n_components=None):
self.x = x
self.dimension = x.shape[1]
if n_components and n_components >= self.dimension:
raise DimensionValueError("n_components error")
self.n_components = n_components
接下來(lái)就是計(jì)算協(xié)方差矩陣，特征值勺届，特征向量驶俊，為了方便下面的計(jì)算，我把特征值和特征向量整合在一個(gè)dataframe內(nèi)免姿，并按特征值的大小降序排列：
def cov(self):
"""求x的協(xié)方差矩陣"""
x_T = np.transpose(self.x) #矩陣轉(zhuǎn)置
x_cov = np.cov(x_T) #協(xié)方差矩陣
return x_cov
def get_feature(self):
"""求協(xié)方差矩陣C的特征值和特征向量"""
x_cov = self.cov()
a, b = np.linalg.eig(x_cov)
m = a.shape[0]
c = np.hstack((a.reshape((m,1)), b))
c_df = pd.DataFrame(c)
c_df_sort = c_df.sort(columns=0, ascending=False)
return c_df_sort
最后就是降維饼酿，用了兩種方式，指定維度降維和根據(jù)方差貢獻(xiàn)率自動(dòng)降維，默認(rèn)方差貢獻(xiàn)率為99%：
def reduce_dimension(self):
"""指定維度降維和根據(jù)方差貢獻(xiàn)率自動(dòng)降維"""
c_df_sort = self.get_feature()
varience = self.explained_varience_()
if self.n_components: #指定降維維度
p = c_df_sort.values[0:self.n_components, 1:]
y = np.dot(p, np.transpose(self.x))
return np.transpose(y)
varience_sum = sum(varience)
varience_radio = varience / varience_sum
varience_contribution = 0
for R in xrange(self.dimension):
varience_contribution += varience_radio[R]
if varience_contribution >= 0.99:
break
p = c_df_sort.values[0:R+1, 1:] #取前R個(gè)特征向量
y = np.dot(p, np.transpose(self.x))
return np.transpose(y)
PCA_on_IRIS
加載iris數(shù)據(jù)集
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
target_names = iris.target_names</pre>
X由四維特征表示
2018-11-23 10-40-13屏幕截圖.png
使用PCA算法降至2維
pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)
plt.figure()
colors = ['navy', 'turquoise', 'darkorange']
for color, i, target_name in zip(colors, [0, 1, 2], target_names):
plt.scatter(X_r[y == i, 0], X_r[y == i, 1], color=color, alpha=.8, lw=2, label=target_name)
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('PCA of IRIS dataset')
plt.show()
2018-11-23 10-42-01屏幕截圖.png
參考：https://blog.csdn.net/u011473714/article/details/79745532
