參考資料
<PYTHON_MACHINE_LEARNING> chapter3
Maximum margin classifcation with
support vector machines
引言
在學(xué)習(xí)了邏輯回歸之后蛤育，我們回顧一下目前已經(jīng)學(xué)習(xí)的機(jī)器學(xué)習(xí)模型：Perceptron感知機(jī)， Adaline自適應(yīng)線性單元仇箱， LogisticRegression邏輯回歸, 這些模型有一個(gè)共同點(diǎn)：他們處理的都是樣本線性可分的分類問題球拦，為了處理非線性可分問題蔚鸥，我們引入了支持向量機(jī)SVM
線性可分VS線性不可分
- 線性可分
線性可分(Linearly Separable）指的是动雹，對(duì)于一個(gè)樣本，數(shù)據(jù)可以在空間中被一個(gè)或多個(gè)超平面(hyperplane)被分成顯然的若干類拿诸。
In geometry a hyperplane is a subspace of one dimension less than its ambient space. If a space is 3-dimensional then its hyperplanes are the 2-dimensional planes, while if the space is 2-dimensional, its hyperplanes are the 1-dimensional lines. -- from wikipedia
-
線性不可分
定義則相反
邊界(margin)與支持向量(SV)
對(duì)于一組線性可分的數(shù)據(jù)扒袖，我們知道能將他們分類的超平面(secision hyperplane)并不是唯一的，如何找到最佳的分類超平面呢亩码？我們把與分類超平面平行且經(jīng)過(guò)離分類超平面最近的樣本點(diǎn)的平面稱之為決策邊界(decision boundary)
我們先定義一下分類間隔margin.,它是兩個(gè)決策邊界的距離季率。對(duì)于能使margin最大的那個(gè)超平面就是我們尋找的超平面。
這些在決策邊界上的向量被稱之為支持向量
這樣的分類器被稱之為支持向量機(jī)
現(xiàn)在我們來(lái)看一看這樣做的數(shù)學(xué)意義
如圖所示描沟，兩條決策邊界分別被命名為 “negative hyperplane”,“positive hyperplane” 我們?cè)噲D求出分類間隔也就是他們之間的距離
對(duì)于平面內(nèi)兩條平行直線
**
A(x-x1)+B(y-y1)=0
A(x-x2)+B(y-y2)=0
**
他們之間的距離可以表示為
d=|C1-C2|/√(A2+B2) ** C1=Ax1+By1, C2=Ax2+By2
令X1=[x1,y1]' , X2=[x2,y2]', w=[A,B]'**
則有
**
w'X1=C1
w'X2=C2
**
距離可以表示為
**
d = |C1-C2| / || w ||
**
這就是一般情況下兩個(gè)平行的超平面的距離公式
對(duì)于支持向量機(jī)而言
分類間隔 margin
分類間隔可以這么得到
得到分類間隔
其中
當(dāng)分類間隔 magrin 最大的時(shí)候飒泻，很顯然，我們的模型能給出最大的區(qū)分度啊掏，相應(yīng)的預(yù)測(cè)的準(zhǔn)確性也就越高蠢络，所以衰猛，對(duì)于 支持向量機(jī)SVM 來(lái)說(shuō)迟蜜，它的實(shí)現(xiàn)是通過(guò)最大化分類間隔實(shí)現(xiàn)的。
對(duì)于一個(gè) -1,1 的二分類啡省，我們有
化簡(jiǎn)一下
我們的目標(biāo)就是在這種條件下求出
的最大值
這個(gè)問題可以用 拉格朗日乗法子 解決娜睛，這里暫且按下不表
使用松弛變量處理非線性類問題
在線性不可分的情況下，無(wú)論怎么劃分超平面卦睹，都會(huì)存在一些樣本在邊界之外畦戒，也就是說(shuō)
這種情況下，我們使用松弛變量來(lái)放寬條件
這些松弛變量都是非負(fù)數(shù)结序，也就是說(shuō)我們?cè)试S一定的偏差存在障斋，但然，這也是有代價(jià)的，那就是我們要最小化的損失函數(shù)要相應(yīng)的變大
這里的C就是懲罰因子垃环，C越大邀层，這意味著我們?cè)街匾曔@些偏差點(diǎn)的影響，需要注意的是遂庄，懲罰因子C不是一個(gè)變量寥院，在擬合的時(shí)候C需要時(shí)一個(gè)定值，查看預(yù)測(cè)結(jié)果的時(shí)候需要檢查結(jié)果是否理想涛目，不理想的話需要更改C的值重新擬合一遍
sklearn.svm 的實(shí)現(xiàn)
# -*- coding: utf-8 -*-
"""
Created on Thu Jun 22 11:08:17 2017
@author: Administrator
"""
from sklearn.svm import SVC
from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from PDC import plot_decision_regions
import matplotlib.pyplot as plt
import numpy as np
Iris = datasets.load_iris()
x = Iris.data[:,[2,3]]
y = Iris.target
X_train,X_test,y_train,y_test = train_test_split(
x,y,test_size=0.3,random_state=0)
sc=StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)
svm = SVC(kernel='linear',C=1.0,random_state=0)
svm.fit(X_train_std,y_train)
X_combined_std = np.vstack((X_train_std,X_test_std))
y_combined = np.hstack((y_train,y_test))
plot_decision_regions(X=X_combined_std,y=y_combined,
classifier=svm,
test_idx=range(105,150))
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.show()
plt.savefig('Iris.png')
plt.show()
結(jié)果如下
