svm 參數(shù)筆記

SVC

SVC用于分類:支持向量分類髓堪,基于libsvm實(shí)現(xiàn)的亿扁,數(shù)據(jù)擬合的時間復(fù)雜度是數(shù)據(jù)樣本的二次方猪叙,這使得他很難擴(kuò)展到10000個數(shù)據(jù)集恐锣,當(dāng)輸入是多類別時(SVM最初是處理二分類問題的)髓考,通過一對一的方案解決污抬,當(dāng)然也有別的解決辦法。

SVC參數(shù)說明如下:

C:懲罰項绳军,float類型印机,可選參數(shù),默認(rèn)為1.0门驾,C越大射赛,即對分錯樣本的懲罰程度越大,因此在訓(xùn)練樣本中準(zhǔn)確率越高奶是,但是泛化能力降低楣责,也就是對測試數(shù)據(jù)的分類準(zhǔn)確率降低竣灌。相反,減小C的話秆麸,容許訓(xùn)練樣本中有一些誤分類錯誤樣本初嘹,泛化能力強(qiáng)。對于訓(xùn)練樣本帶有噪聲的情況沮趣,一般采用后者屯烦,把訓(xùn)練樣本集中錯誤分類的樣本作為噪聲。

kernel:核函數(shù)類型房铭,str類型驻龟,默認(rèn)為’rbf’「追耍可選參數(shù)為:

‘linear’:線性核函數(shù)

‘poly’:多項式核函數(shù)

‘rbf’:徑像核函數(shù)/高斯核

‘sigmod’:sigmod核函數(shù)

‘precomputed’:核矩陣翁狐。precomputed表示自己提前計算好核函數(shù)矩陣,這時候算法內(nèi)部就不再用核函數(shù)去計算核矩陣凌蔬,而是直接用你給的核矩陣露懒,核矩陣需要為n*n的。

degree:多項式核函數(shù)的階數(shù)砂心,int類型懈词,可選參數(shù),默認(rèn)為3计贰。這個參數(shù)只對多項式核函數(shù)有用钦睡,是指多項式核函數(shù)的階數(shù)n蒂窒,如果給的核函數(shù)參數(shù)是其他核函數(shù)躁倒,則會自動忽略該參數(shù)。

gamma:核函數(shù)系數(shù)洒琢,float類型秧秉,可選參數(shù),默認(rèn)為auto衰抑。只對’rbf’ ,’poly’ ,’sigmod’有效象迎。如果gamma為auto,代表其值為樣本特征數(shù)的倒數(shù)呛踊,即1/n_features砾淌。

coef0:核函數(shù)中的獨(dú)立項,float類型谭网,可選參數(shù)汪厨,默認(rèn)為0.0。只有對’poly’ 和,’sigmod’核函數(shù)有用愉择,是指其中的參數(shù)c劫乱。

probability:是否啟用概率估計织中,bool類型,可選參數(shù)衷戈,默認(rèn)為False狭吼,這必須在調(diào)用fit()之前啟用,并且會fit()方法速度變慢殖妇。

shrinking:是否采用啟發(fā)式收縮方式刁笙,bool類型,可選參數(shù)拉一,默認(rèn)為True采盒。

tol:svm停止訓(xùn)練的誤差精度,float類型蔚润,可選參數(shù)磅氨,默認(rèn)為1e^-3。

cache_size:內(nèi)存大小嫡纠,float類型烦租,可選參數(shù),默認(rèn)為200除盏。指定訓(xùn)練所需要的內(nèi)存叉橱,以MB為單位,默認(rèn)為200MB者蠕。

class_weight:類別權(quán)重窃祝,dict類型或str類型,可選參數(shù)踱侣,默認(rèn)為None粪小。給每個類別分別設(shè)置不同的懲罰參數(shù)C,如果沒有給抡句,則會給所有類別都給C=1探膊,即前面參數(shù)指出的參數(shù)C。如果給定參數(shù)’balance’待榔,則使用y的值自動調(diào)整與輸入數(shù)據(jù)中的類頻率成反比的權(quán)重逞壁。

verbose:是否啟用詳細(xì)輸出,bool類型锐锣,默認(rèn)為False腌闯,此設(shè)置利用libsvm中的每個進(jìn)程運(yùn)行時設(shè)置,如果啟用雕憔,可能無法在多線程上下文中正常工作姿骏。一般情況都設(shè)為False,不用管它橘茉。

max_iter:最大迭代次數(shù)工腋,int類型姨丈,默認(rèn)為-1,表示不限制擅腰。

decision_function_shape:決策函數(shù)類型蟋恬,可選參數(shù)’ovo’和’ovr’,默認(rèn)為’ovr’趁冈〖哒’ovo’表示one vs one,’ovr’表示one vs rest渗勘。

random_state:數(shù)據(jù)洗牌時的種子值沐绒,int類型,可選參數(shù)旺坠,默認(rèn)為None乔遮。偽隨機(jī)數(shù)發(fā)生器的種子,在混洗數(shù)據(jù)時用于概率估計。

NuSVC

NuSVC(Nu-Support Vector Classification.):核支持向量分類取刃,和SVC類似蹋肮,也是基于libsvm實(shí)現(xiàn)的,但不同的是通過一個參數(shù)空值支持向量的個數(shù)璧疗。

nu:訓(xùn)練誤差的一個上界和支持向量的分?jǐn)?shù)的下界坯辩。應(yīng)在間隔(0,1 ]崩侠。

其余同SVC

LinearSVC

LinearSVC(Linear Support Vector Classification):線性支持向量分類漆魔,類似于SVC,但是其使用的核函數(shù)是”linear“上邊介紹的兩種是按照brf(徑向基函數(shù)計算的却音,其實(shí)現(xiàn)也不是基于LIBSVM改抡,所以它具有更大的靈活性在選擇處罰和損失函數(shù)時,而且可以適應(yīng)更大的數(shù)據(jù)集僧家,他支持密集和稀疏的輸入是通過一對一的方式解決的雀摘。

LinearSVC 參數(shù)解釋

C:目標(biāo)函數(shù)的懲罰系數(shù)C裸删,用來平衡分類間隔margin和錯分樣本的八拱,default C = 1.0;

loss:指定損失函數(shù)

penalty

dual :選擇算法來解決對偶或原始優(yōu)化問題涯塔。當(dāng)nsamples>nfeaturesnsamples>nfeatures 時dual=false肌稻。

tol :(default = 1e - 3): svm結(jié)束標(biāo)準(zhǔn)的精度;

multi_class:如果y輸出類別包含多類,用來確定多類策略匕荸, ovr表示一對多爹谭,“crammer_singer”優(yōu)化所有類別的一個共同的目標(biāo) 。如果選擇“crammer_singer”榛搔,損失诺凡、懲罰和優(yōu)化將會被被忽略东揣。

fit_intercept

intercept_scaling

class_weight :對于每一個類別i設(shè)置懲罰系數(shù)C=classweight[i]?CC=classweight[i]?C,如果不給出,權(quán)重自動調(diào)整為 nsamples/(nclasses?np.bincount(y))nsamples/(nclasses?np.bincount(y))

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末腹泌,一起剝皮案震驚了整個濱河市嘶卧,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌凉袱,老刑警劉巖芥吟,帶你破解...
    沈念sama閱讀 211,290評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異专甩,居然都是意外死亡钟鸵,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評論 2 385
  • 文/潘曉璐 我一進(jìn)店門涤躲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來棺耍,“玉大人,你說我怎么就攤上這事种樱×衣樱” “怎么了?”我有些...
    開封第一講書人閱讀 156,872評論 0 347
  • 文/不壞的土叔 我叫張陵缸托,是天一觀的道長左敌。 經(jīng)常有香客問我,道長俐镐,這世上最難降的妖魔是什么矫限? 我笑而不...
    開封第一講書人閱讀 56,415評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮佩抹,結(jié)果婚禮上叼风,老公的妹妹穿的比我還像新娘。我一直安慰自己棍苹,他們只是感情好无宿,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著枢里,像睡著了一般孽鸡。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上栏豺,一...
    開封第一講書人閱讀 49,784評論 1 290
  • 那天彬碱,我揣著相機(jī)與錄音,去河邊找鬼奥洼。 笑死巷疼,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的灵奖。 我是一名探鬼主播嚼沿,決...
    沈念sama閱讀 38,927評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼估盘,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了骡尽?” 一聲冷哼從身側(cè)響起忿檩,我...
    開封第一講書人閱讀 37,691評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎爆阶,沒想到半個月后燥透,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,137評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡辨图,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評論 2 326
  • 正文 我和宋清朗相戀三年班套,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片故河。...
    茶點(diǎn)故事閱讀 38,622評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡吱韭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出鱼的,到底是詐尸還是另有隱情理盆,我是刑警寧澤,帶...
    沈念sama閱讀 34,289評論 4 329
  • 正文 年R本政府宣布凑阶,位于F島的核電站猿规,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏宙橱。R本人自食惡果不足惜姨俩,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望师郑。 院中可真熱鬧环葵,春花似錦、人聲如沸宝冕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽地梨。三九已至菊卷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間湿刽,已是汗流浹背的烁。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工褐耳, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留诈闺,地道東北人。 一個月前我還...
    沈念sama閱讀 46,316評論 2 360
  • 正文 我出身青樓铃芦,卻偏偏與公主長得像雅镊,于是被迫代替她去往敵國和親襟雷。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評論 2 348

推薦閱讀更多精彩內(nèi)容