模型搭建和評估--建模

1、【思考】這些庫的作用是什么呢生兆?你需要查一查

import seaborn as sns? #

from IPython.display import Image? #

2、載入我們提供清洗之后的數(shù)據(jù)(clear_data.csv),大家也將原始數(shù)據(jù)載入(train.csv)鸦难,說說他們有什么不同

通過對比兩個數(shù)據(jù)根吁,將原數(shù)據(jù)中survived列取出作為有監(jiān)督學(xué)習(xí)中Y,同時刪去name列合蔽,并將Sex和Embarked兩列通過獨熱編碼形成值击敌。

這里自己認(rèn)為缺少了一步,哪些參數(shù)和生存相關(guān)呢拴事?沒有進行一個相關(guān)判斷沃斤。

3、劃分?jǐn)?shù)據(jù)集的方法有哪些刃宵?

在機器學(xué)習(xí)建模過程中衡瓶,通行的做法通常是將數(shù)據(jù)集分為訓(xùn)練集和測試集。測試集是與訓(xùn)練獨立的數(shù)據(jù)牲证,完全不參與訓(xùn)練哮针,用于最終模型的評估。

在訓(xùn)練過程中坦袍,經(jīng)常會出現(xiàn)過擬合的問題诚撵,就是模型可以很好的匹配訓(xùn)練數(shù)據(jù),卻不能很好在預(yù)測訓(xùn)練集外的數(shù)據(jù)键闺。如果此時就使用測試數(shù)據(jù)來調(diào)整模型參數(shù)寿烟,就相當(dāng)于在訓(xùn)練時已知部分測試數(shù)據(jù)的信息,會影響最終評估結(jié)果的準(zhǔn)確性辛燥。通常的做法是在訓(xùn)練數(shù)據(jù)再中分出一部分做為驗證(Validation)數(shù)據(jù)筛武,用來評估模型的訓(xùn)練效果。

驗證數(shù)據(jù)取自訓(xùn)練數(shù)據(jù)挎塌,但不參與訓(xùn)練徘六,這樣可以相對客觀的評估模型對于訓(xùn)練集之外數(shù)據(jù)的匹配程度。模型在驗證數(shù)據(jù)中的評估常用的是交叉驗證榴都,又稱循環(huán)驗證待锈。它將原始數(shù)據(jù)分成K組(K-Fold),將每個子集數(shù)據(jù)分別做一次驗證集嘴高,其余的K-1組子集數(shù)據(jù)作為訓(xùn)練集竿音,這樣會得到K個模型。這K個模型分別在驗證集中評估結(jié)果拴驮,最后的誤差MSE(Mean Squared Error)加和平均就得到交叉驗證誤差春瞬。交叉驗證有效利用了有限的數(shù)據(jù),并且評估結(jié)果能夠盡可能接近模型在測試集上的表現(xiàn)套啤,可以做為模型優(yōu)化的指標(biāo)使用宽气。

sklearn中切割數(shù)據(jù)集的方法為train_test_split:

train_test_split (*arrays,test_size, train_size, random_state=None, shuffle=True, stratify=None)

arrays:特征數(shù)據(jù)和標(biāo)簽數(shù)據(jù)(array,list萄涯,dataframe等類型)绪氛,要求所有數(shù)據(jù)長度相同。

test_size / train_size: 測試集/訓(xùn)練集的大小涝影,若輸入小數(shù)表示比例钞楼,若輸入整數(shù)表示數(shù)據(jù)個數(shù)。

random_state:隨機種子(一個整數(shù))袄琳,其實就是一個劃分標(biāo)記询件,對于同一個數(shù)據(jù)集,如果- random_state相同唆樊,則劃分結(jié)果也相同宛琅。

shuffle:是否打亂數(shù)據(jù)的順序,再劃分逗旁,默認(rèn)True嘿辟。

stratify:none或者array/series類型的數(shù)據(jù),表示按這列進行分層采樣片效。

4红伦、為什么使用分層抽樣,這樣的好處有什么淀衣?

保證訓(xùn)練數(shù)據(jù)集昙读、測試數(shù)據(jù)集中基本覆蓋所有的數(shù)據(jù)類型,使得劃分的數(shù)據(jù)沒有偏差膨桥。

5蛮浑、為什么線性模型可以進行分類任務(wù),背后是怎么的數(shù)學(xué)關(guān)系

形成分類曲線只嚣,背后的數(shù)學(xué)關(guān)系主要是梯度下降算法沮稚。

6、對于多分類問題册舞,線性模型是怎么進行分類的

one-versus-Rest(OvR)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蕴掏,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子调鲸,更是在濱河造成了極大的恐慌盛杰,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件线得,死亡現(xiàn)場離奇詭異饶唤,居然都是意外死亡,警方通過查閱死者的電腦和手機贯钩,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人角雷,你說我怎么就攤上這事祸穷。” “怎么了勺三?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵雷滚,是天一觀的道長。 經(jīng)常有香客問我吗坚,道長祈远,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任商源,我火速辦了婚禮车份,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘牡彻。我一直安慰自己扫沼,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布庄吼。 她就那樣靜靜地躺著缎除,像睡著了一般。 火紅的嫁衣襯著肌膚如雪总寻。 梳的紋絲不亂的頭發(fā)上器罐,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天,我揣著相機與錄音渐行,去河邊找鬼技矮。 笑死,一個胖子當(dāng)著我的面吹牛殊轴,可吹牛的內(nèi)容都是我干的衰倦。 我是一名探鬼主播,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼旁理,長吁一口氣:“原來是場噩夢啊……” “哼樊零!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起孽文,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤驻襟,失蹤者是張志新(化名)和其女友劉穎牺丙,沒想到半個月后涕烧,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡锣夹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年减牺,在試婚紗的時候發(fā)現(xiàn)自己被綠了豌习。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片存谎。...
    茶點故事閱讀 39,703評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖肥隆,靈堂內(nèi)的尸體忽然破棺而出既荚,到底是詐尸還是另有隱情,我是刑警寧澤栋艳,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布恰聘,位于F島的核電站,受9級特大地震影響吸占,放射性物質(zhì)發(fā)生泄漏晴叨。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一矾屯、第九天 我趴在偏房一處隱蔽的房頂上張望兼蕊。 院中可真熱鬧,春花似錦问拘、人聲如沸遍略。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽绪杏。三九已至,卻和暖如春纽绍,著一層夾襖步出監(jiān)牢的瞬間蕾久,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工拌夏, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留僧著,地道東北人。 一個月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓障簿,卻偏偏與公主長得像盹愚,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子站故,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,601評論 2 353

推薦閱讀更多精彩內(nèi)容