R語言學(xué)習(xí)筆記:模型選擇(二)

前面一篇得到19個(gè)局部最優(yōu)模型,接下來需要尋找到全局最優(yōu)的模型

summary (fit1)$cp

summary (fit1)$bic

制成圖表:

plot (summary (fot1)$cp, xlab = "Number of Predictors", ylab = 'Cp', col = 'red', type = 'p', pch = 16)

bic圖形將該代碼中的cp替換即可


一個(gè)自變量時(shí)cp值較高屁使,隨著自變量的增加精度逐漸上升故痊,增加到一定程度時(shí)精度再次下降


BIC呈現(xiàn)出同樣的情形蒋纬,但是最佳精度自變量數(shù)量不同源梭,這樣情況下可以自行選擇:

Elbow Rule:選取下降最明顯的部分附近的點(diǎn)(圖中第三個(gè)模型铺呵,使用walks吉挣,hits和years三個(gè)作為自變量)

篩選模型可以使用Lasso工具派撕,初級(jí)機(jī)器學(xué)習(xí)方法

LASSO:Least Absolute Shrinkage andSelection Operator,數(shù)據(jù)降維

在預(yù)測模型自變量太多睬魂,篩選出更有意義的自變量

線性回歸模型需要最小化殘差平方和终吼,如果要成功回歸,數(shù)據(jù)的個(gè)數(shù)要大于自變量個(gè)數(shù)


平衡參數(shù)大小和殘差平方和之間的關(guān)系氯哮,對(duì)任意的λ都可以找到一個(gè)最好的模型际跪,找到最好的λ得到全局最優(yōu)的模型

安裝并調(diào)用glmnet程序包

將數(shù)據(jù)整理成LASSO模型需要的格式

Y = newhitters [, 20] #因變量單獨(dú)列出

X = model.matrix(lnsalary~., data = newhitters)[, -1] #將數(shù)據(jù)變成matrix結(jié)構(gòu),保留所有行喉钢,刪除第一列姆打,因?yàn)樯傻淖宰兞烤仃嚢说谝涣械慕鼐囗?xiàng),LASSO不需要

lasso1.10 = glmnet(X, Y, alpha = 1, lambda = 10) #alpha = 1確定lasso模型

觀察lambda = 10時(shí)的系數(shù):

coef (lasso1.10)

lambda取值過大肠虽,所有系數(shù)被壓縮為0幔戏,調(diào)整lambda


lasso1.lambda = glmnet (X, Y, alpha = 1)#系統(tǒng)自動(dòng)生成并儲(chǔ)存99個(gè)lambda的值和對(duì)應(yīng)lasso模型

plot (1:99, lasso1.lambda$lambda) #生成圖表


查看自變量系數(shù)與lambda的變化關(guān)系:

plot (lasso1.lambda)


對(duì)LASSO進(jìn)行交叉檢驗(yàn),首先需要控制隨機(jī)數(shù)種子

set.seed(1)

lasso1.cv = cv.glmnet (X, Y, alpha = 1, nfolds = 10)#進(jìn)行交叉檢驗(yàn)

plot (lasso1.cv)#繪圖


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末税课,一起剝皮案震驚了整個(gè)濱河市闲延,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌韩玩,老刑警劉巖垒玲,帶你破解...
    沈念sama閱讀 219,366評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異啸如,居然都是意外死亡侍匙,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,521評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來想暗,“玉大人妇汗,你說我怎么就攤上這事∷的” “怎么了杨箭?”我有些...
    開封第一講書人閱讀 165,689評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長储狭。 經(jīng)常有香客問我互婿,道長,這世上最難降的妖魔是什么辽狈? 我笑而不...
    開封第一講書人閱讀 58,925評(píng)論 1 295
  • 正文 為了忘掉前任慈参,我火速辦了婚禮,結(jié)果婚禮上刮萌,老公的妹妹穿的比我還像新娘驮配。我一直安慰自己,他們只是感情好着茸,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,942評(píng)論 6 392
  • 文/花漫 我一把揭開白布壮锻。 她就那樣靜靜地躺著,像睡著了一般涮阔。 火紅的嫁衣襯著肌膚如雪猜绣。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,727評(píng)論 1 305
  • 那天敬特,我揣著相機(jī)與錄音掰邢,去河邊找鬼。 笑死擅羞,一個(gè)胖子當(dāng)著我的面吹牛尸变,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播减俏,決...
    沈念sama閱讀 40,447評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼召烂,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了娃承?” 一聲冷哼從身側(cè)響起奏夫,我...
    開封第一講書人閱讀 39,349評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎历筝,沒想到半個(gè)月后酗昼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,820評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡梳猪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,990評(píng)論 3 337
  • 正文 我和宋清朗相戀三年麻削,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蒸痹。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,127評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡呛哟,死狀恐怖叠荠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情扫责,我是刑警寧澤榛鼎,帶...
    沈念sama閱讀 35,812評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站鳖孤,受9級(jí)特大地震影響者娱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜苏揣,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,471評(píng)論 3 331
  • 文/蒙蒙 一黄鳍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧平匈,春花似錦际起、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,017評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽校翔。三九已至弟跑,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間防症,已是汗流浹背孟辑。 一陣腳步聲響...
    開封第一講書人閱讀 33,142評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蔫敲,地道東北人饲嗽。 一個(gè)月前我還...
    沈念sama閱讀 48,388評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像奈嘿,于是被迫代替她去往敵國和親貌虾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,066評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容