Jacob的 Python機(jī)器學(xué)習(xí)系列：
Python機(jī)器學(xué)習(xí)（一）：kNN算法
Python機(jī)器學(xué)習(xí)（二）：線(xiàn)性回歸算法
Python機(jī)器學(xué)習(xí)（三）：梯度下降法
Python機(jī)器學(xué)習(xí)（四）：PCA 主成分分析
Python機(jī)器學(xué)習(xí)（五）：SVM 支撐向量機(jī)
主成分分析法是一個(gè)非監(jiān)督的機(jī)器學(xué)習(xí)算法，主要用于數(shù)據(jù)的降維漓藕。通過(guò)降維享钞，可以發(fā)現(xiàn)更便于人類(lèi)理解的特征栗竖。
求解目標(biāo)
主成分分析的步驟：
- 對(duì)樣本進(jìn)行demean處理（使所有樣本的均值為0）
-
取一個(gè)軸的方向 w = （w1狐肢，w2...处坪，wn）同窘，使我們的樣本想邦，映射到w之后丧没，使下式最大
均方差
由于均值為0，則只需要使下式最大
映射的過(guò)程可以如下示意
w為單位向量夺饲，則有
則最終目標(biāo)為求取一個(gè)w擂找，使得下式最大
上式中為向量相乘，假設(shè)數(shù)據(jù)有n個(gè)維度慢洋，展開(kāi)來(lái)是這個(gè)樣子
那么败明，這就變成了一個(gè)目標(biāo)函數(shù)的最優(yōu)化問(wèn)題，可以使用梯度上升法解決
這個(gè)過(guò)程看起來(lái)跟線(xiàn)性回歸很像祟霍，其實(shí)是不同的沸呐，需要注意
想想其中的區(qū)別
梯度上升
梯度上升的過(guò)程與梯度下降是類(lèi)似地寓娩，需要先求導(dǎo)
像前面一樣棘伴，可以化為矩陣運(yùn)算的形式焊夸。設(shè)X為這樣的矩陣
則求導(dǎo)可以寫(xiě)成這樣的形式。這里就不推導(dǎo)了
整理一下就是這個(gè)樣子
求取n個(gè)主成分
上面的操作中求取w的是第一個(gè)主成分揪阶，稱(chēng)為第一主成分鲁僚。如果要求取第二主成分蕴茴，則需要將數(shù)據(jù)在第一個(gè)主成分上的分量去掉倦淀，得到的數(shù)據(jù)再求取主成分撞叽，就得到了第二主成分愿棋。
比如說(shuō)有這么一個(gè)數(shù)據(jù)集
找到第一主成分的方向w1才睹。將數(shù)據(jù)在第一主成分上的分量去掉琅攘，得到的數(shù)據(jù)如下坞琴。再求取一次主成分剧辐，就得到了第二主成分的方向荧关。
假設(shè)我們找到了k個(gè)主成分的方向褂傀，如果想將數(shù)據(jù)從n維映射到k維（n>k）紊服，則可以如下進(jìn)行欺嗤。令Wk為計(jì)算出的k個(gè)主成分的方向。
則可以進(jìn)行矩陣運(yùn)算進(jìn)行降維讹挎。X有m個(gè)樣本n個(gè)方向马篮，映射后有m個(gè)樣本k個(gè)方向
同樣浑测，可以將映射到低維的數(shù)據(jù)重映射到高維迁央，但是會(huì)損失一些信息滥崩，結(jié)果跟原來(lái)是不一樣的
編程實(shí)現(xiàn)
"""
Created by 楊幫杰 on 11/4/2018
Right to use this code in any way you want without
warranty, support or any guarantee of it working
E-mail: yangbangjie1998@qq.com
Association: SCAU 華南農(nóng)業(yè)大學(xué)
"""
import numpy as np
class PCA:
def __init__(self, n_components):
"""初始化PCA"""
assert n_components >= 1, "n_components must be valid"
self.n_components = n_components
self.components_ = None
def fit(self, X, eta=0.01, n_iters=1e4):
"""獲得數(shù)據(jù)集的前n個(gè)主成分"""
assert self.n_components <= X.shape[1], \
"n_components must not be greater than the feature number of X"
def demean(X):
return X - np.mean(X, axis=0)
def f(w, X):
return np.sum((X.dot(w) ** 2)) / len(X)
def direction(w):
return w / np.linalg.norm(w)
def first_components(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):
w = direction(initial_w)
cur_iter = 0
while cur_iter < n_iters:
gradient = df(w, X)
last_w = w
w = w + eta*gradient
w = direction(w)
if(abs(f(w, X) - f(last_w, X)) < epsilon):
break
cur_iter += 1
return w
X_pca = demean(X)
self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
for i in range(self.n_components):
initial_w = np.random.random(X_pca.shape[1])
w = first_components(X_pca, initial_w, eta, n_iters)
self.components_[i,:] = w
X_pca = X_pca - X_pca.dot(w).reshape(-1,1) * w
return self
def transform(self, X):
"""將給定的X，映射到各個(gè)主成分分量中"""
assert X.shape[1] == self.components_.shape[1]
return X.dot(self.components_.T)
def inverse_transform(self, X):
"""將給定的X短条，反向映射回原來(lái)的特征空間"""
assert X.shape[1] == self.components_.shape[0]
return X.dot(self.components_)
def __repr__(self):
return "PCA(n_components = %d" % self.n_components
References:
Python3 入門(mén)機(jī)器學(xué)習(xí) 經(jīng)典算法與應(yīng)用 —— liuyubobobo
機(jī)器學(xué)習(xí)實(shí)戰(zhàn) —— Peter Harrington
