各位小伙伴們大家好盐肃，這幾天弱弱的看了看老掉牙的支持向量機(jī)(Support Vector Machine, SVM)與支持向量回歸(Support Vector Regression, SVR)，發(fā)現(xiàn)知道的太少太弱了推盛，基礎(chǔ)知識(shí)要好好補(bǔ)一補(bǔ)谦铃。
SVM的原理參考
http://en.wikipedia.org/wiki/Support_vector_machine
http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA
SVM中對k類即多類問題的處理，有幾種方法（節(jié)選自一本爛書：方瑞明《支持向量機(jī)理論及其應(yīng)用分析》）：
(1) ?One against all：設(shè)計(jì)k個(gè)SVM兩類分類器瘪菌；
(2) ?All against all/one against one: 設(shè)計(jì)兩兩k(k-1)/2個(gè)SVM兩類分類器嘹朗。
(3) ?Error correcting output codes(ECOCs)：大約是利用類似Hanming碼的方式，去除輸出的錯(cuò)誤屹培，沒有太仔細(xì)研究，但這種方法可能將來對我有用蓄诽。p.s. Hanming編碼：用多位編碼少位的數(shù)據(jù)，采取處理避免信道噪聲引起的信號(hào)錯(cuò)誤乙埃，采用Hanming矩陣调衰，大致參考(2005)A study on Error Correcting Output Codes.pdf自阱，說了一點(diǎn)點(diǎn)。
(4) ?一次性分類：采用一次優(yōu)化求解解決問題趋箩。對于每一類加派，設(shè)計(jì)w_i與b_i，約束真實(shí)類別對應(yīng)的w_i x + b_i大于其他類別的w_i x + b_i進(jìn)行訓(xùn)練芍锦，求解目標(biāo)是所有w_i的范數(shù)之和最小娄琉，也可以引入 樣本數(shù)乘以類別數(shù) 個(gè)松馳變量。
LIBSVM采用的是(2)孽水，并且投票的方法，如果兩類投票相同杏慰，它選擇標(biāo)號(hào)小的一類-_-b炼鞠。
SVR（support vector regression）的主要思想：
(1) ?所謂回歸（regression），基本上就是擬合完域，用一個(gè)函數(shù)擬合x與y的關(guān)系瘩将。對于SVR來說凹耙，x是向量肠仪，y是標(biāo)量，擬合的函數(shù)形式為y=W^T*g(x)+b意述，其中g(shù)(x)為核函數(shù)對應(yīng)的特征空間向量吮蛹。
(2) ?SVR認(rèn)為，只要估計(jì)的y在實(shí)際的y的兩側(cè)一個(gè)固定的范圍(epsilon)之內(nèi)潮针，就認(rèn)為是估計(jì)正確每篷，沒有任何損失；
(3) ?SVR的優(yōu)化目標(biāo)焦读，是|W|最小，這樣y-x曲線的斜率最小仑嗅，這個(gè)function最flat张症，這樣據(jù)說可以增加估計(jì)的魯棒性。
(4) ?之后的事情就很自然了浑彰，和SVM一樣：可以有soft margin拯辙，用一個(gè)小正數(shù)控制。用對偶式來解涯保；
(5) ?但有一個(gè)不同夕春，控制范圍的epsilon的值難于確定，在最小優(yōu)化目標(biāo)中加入一項(xiàng)C*
u*epsilon及志，其中epsilon是一個(gè)變量寨腔，nu是一個(gè)預(yù)先給定的正數(shù)迫卢。
SVM中的增量學(xué)習(xí)冶共，可以采用的有幾種方式：
(1) ?基于KKT條件方法，在新的訓(xùn)練樣本中選擇不符合已訓(xùn)練分類器的KKT（Karush-Kuhn-Tucker）條件的樣本與原支持向量組成新的訓(xùn)練集捅僵，如此反復(fù)庙楚。
(2) ?Batch-SVM：原支持向量+新訓(xùn)練樣本進(jìn)行訓(xùn)練；
(3) ?漸進(jìn)增量學(xué)習(xí)方法：這個(gè)復(fù)雜一點(diǎn)醋奠，要求比較多的迭代次數(shù)窜司。
關(guān)于SVM的一些其他事情：
(1) ?去掉訓(xùn)練數(shù)據(jù)中的非支持向量（包括軟間隔問題中的在間隔帶外的正確分類樣本）航揉，優(yōu)化的結(jié)果不變，因?yàn)槟切┦窃瓋?yōu)化問題中的不起作用約束帅涂，同時(shí)又有全局最優(yōu)解；
(2) ?硬間隔SVM與二范數(shù)軟間隔SVM(L2SVM)有唯一解斯议，一范數(shù)軟間隔SVM(L1SVM)不一定有唯一解醇锚。
以下是我的學(xué)習(xí)的筆記。歡迎大家多多指教
