【機器學(xué)習(xí)小筆記】決策樹

決策樹一句話概括

通過信息增益屁使,采用遞歸的方式生成樹(找出最合適的節(jié)點順序以及葉子對應(yīng)的類標(biāo)簽)

舉個栗子: 是否買計算機

問題描述:已知1024個人的年齡隘梨、收入焕济、職業(yè)是否為學(xué)生萌壳、信譽是否良好及是否會有買計算機的行為澈蚌,若已知一個新人的年齡摹芙、收入等信息,請判斷該新人是否會買計算機宛瞄。

數(shù)學(xué)表達(dá):已知 1024 個樣本的特征向量 ( x(1), x(2), x(4), x(4)) 和預(yù)測值Y以及新樣本的特征向量浮禾,計算新樣本預(yù)測值Y。

如圖所示

人數(shù) 年齡 收入 是否學(xué)生 信譽 標(biāo)簽:是否買計算機
64 不買
64 優(yōu) 不買
128
60
64
64 優(yōu) 不買
64 優(yōu)
128 不買
64
132
64 優(yōu)
32 優(yōu)
32
63 優(yōu) 不買
1 優(yōu)
新樣本 份汗?
  • 總?cè)藬?shù):1024
    買的人數(shù):641
    不買的人數(shù):383
  • 青年:384
    青年中買的人數(shù):128
    青年中不買的人數(shù):256
  • 中年:256
    中年買:256
    中年不買: 0
  • 老年: 252
    老年買: 125
    老年不買: 127
  • 學(xué)生:略
  • 非學(xué)生: 略

決策樹步驟

一盈电、總覽

def createBranch():
    #判斷邊界
    if 數(shù)據(jù)集中的每個子項是否屬于同一分類(是):
        return 類標(biāo)簽(葉子)    
    #遞歸生成樹
    else:
        尋找劃分?jǐn)?shù)據(jù)集的最好特征         
        劃分?jǐn)?shù)據(jù)集                  
        創(chuàng)建分支結(jié)點    
            for 每個劃分的子集:    
                createBranch()    
            return 分支結(jié)點

二、尋找劃分?jǐn)?shù)據(jù)集的最好特征

ID3:信息增益

C4.5:信息增益率

CART:基尼系數(shù)

三杯活、具體過程——以ID3算法為例

  • 基本數(shù)學(xué)符號

m 個樣本 —— m 個人

n 個特征向量 ( X(1), X(2), ... , X(n)) —— ( X(1), X(2), X(4), X(4) )

預(yù)測值 { Y1, Y2, ..., Yk } —— { Y1: 買, Y2: 不買 }

新樣本X = ( x(1), x(2), ... , x(n)) —— 新人X= ( x(1), x(2), x(3), x(4) )


  • 概率計算

X 為買時概率為:
p(Y_1) = 641 / 1024

不買時概率為:
p(Y_2) = 383 / 1024

X在年齡為青年的條件下買電腦的概率為 :
p(Y_1|youth) = 128 / 384

X在年齡為青年的條件下不買電腦的概率為:
p(Y_2|youth) = 256 / 384

X在年齡為中年的條件下買電腦的概率為:
p(Y_1|middle) = 256 / 256

X在年齡為中年的條件下不買電腦的概率為:
p(Y_2|middle) = 0 / 256

X在年齡為老年的條件下買電腦的概率為:
p(Y_1|old) = 125 / 252

X在年齡為老年的條件下不買電腦的概率為:
p(Y_2|old) = 127 / 252


  • 尋找劃分?jǐn)?shù)據(jù)集的最好特征——信息增益

信息熵的大小指的是了解一件事情所需要付出的信息量是多少匆帚,這件事的不確定性越大,要搞清它所需要的信息量也就越大旁钧,也就是它的信息熵越大吸重,信息熵:
H(Y) = -\sum_{i=1}^{i=k}{p(Y_i)log_2(Y_i)}= -p(Y_1)log_2(p(Y_1))-p(Y_2)log_2(p(Y_2)) = 0.9537

條件熵:
H(Y|age) = p(youth)H(Y|youth) + p(middle)H(Y|middle) + p(old)H(Y|old)=0.6877

其中:
H(Y|youth) = -\sum_{i=1}^{i=k}{p(Y_i|youth)}log_2(p(Y_i|youth)) = p(Y_1|youth)log_2(p(Y_1|youth)+p(Y_2|youth)log_2(p(Y_2|youth) = 0.9183

H(Y|middle) = 0

H(Y|old) = 0.9157

信息增益:
IG(age) = H(Y) - H(Y|age) = 0.9537 - 0.6877 = 0.2660

同理:
IG(income) = H(Y) - H(Y|income) = 0.0176

IG(Student) = H(Y) - H(Y|Student) = 0.01726

IG(credit) = H(Y) - H(Y|credit) = 0.0453


  • 劃分?jǐn)?shù)據(jù)集,創(chuàng)建分支節(jié)點

年齡的信息增益最大歪今,因此第一個結(jié)點為年齡嚎幸,即:


將樣本劃分為青年、中年和老年三個數(shù)據(jù)集彤委,在青年這個數(shù)據(jù)集中:
H(youth) = H(Y|youth)= 0.9183

IG(income)= H(youth) - H(youth|income)

IG(student)= H(youth) - H(youth|student)

IG(credit) = H(youth) - H(youth|redit)

其中是否為學(xué)生的信息增益最大鞭铆,因此選擇是否為學(xué)生作為青年集的結(jié)點,將青年數(shù)據(jù)集劃分為學(xué)生集與非學(xué)生集,即:



在中年這個數(shù)據(jù)集中车遂,所有人都會買電腦凤薛,屬于同一個類別牺氨,返回類標(biāo)簽即可:



在老年這個數(shù)據(jù)集中,信譽的增益最大,因此選擇將信譽作為老年集的結(jié)點究恤,將其劃分為優(yōu)信譽集與良信譽集,即:

最終生成的決策樹:略

四财饥、補充

剪枝處理

  • 預(yù)剪枝
  • 后剪枝

連續(xù)與缺失值

  • 連續(xù)值

  • 缺失值

  • 待更新

參考:
《機器學(xué)習(xí)實戰(zhàn)》【美】Peter Harrington

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末落竹,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子剪况,更是在濱河造成了極大的恐慌教沾,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,590評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件译断,死亡現(xiàn)場離奇詭異授翻,居然都是意外死亡,警方通過查閱死者的電腦和手機孙咪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評論 3 399
  • 文/潘曉璐 我一進店門堪唐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人翎蹈,你說我怎么就攤上這事淮菠。” “怎么了荤堪?”我有些...
    開封第一講書人閱讀 169,301評論 0 362
  • 文/不壞的土叔 我叫張陵合陵,是天一觀的道長。 經(jīng)常有香客問我逞力,道長曙寡,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,078評論 1 300
  • 正文 為了忘掉前任寇荧,我火速辦了婚禮举庶,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘揩抡。我一直安慰自己户侥,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,082評論 6 398
  • 文/花漫 我一把揭開白布峦嗤。 她就那樣靜靜地躺著蕊唐,像睡著了一般。 火紅的嫁衣襯著肌膚如雪烁设。 梳的紋絲不亂的頭發(fā)上替梨,一...
    開封第一講書人閱讀 52,682評論 1 312
  • 那天钓试,我揣著相機與錄音,去河邊找鬼副瀑。 笑死弓熏,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的糠睡。 我是一名探鬼主播挽鞠,決...
    沈念sama閱讀 41,155評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼狈孔!你這毒婦竟也來了信认?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,098評論 0 277
  • 序言:老撾萬榮一對情侶失蹤均抽,失蹤者是張志新(化名)和其女友劉穎嫁赏,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體到忽,經(jīng)...
    沈念sama閱讀 46,638評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡橄教,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,701評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了喘漏。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,852評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡华烟,死狀恐怖翩迈,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情盔夜,我是刑警寧澤负饲,帶...
    沈念sama閱讀 36,520評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站喂链,受9級特大地震影響返十,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜椭微,卻給世界環(huán)境...
    茶點故事閱讀 42,181評論 3 335
  • 文/蒙蒙 一洞坑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蝇率,春花似錦迟杂、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至锅尘,卻和暖如春监氢,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評論 1 274
  • 我被黑心中介騙來泰國打工浪腐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留何鸡,地道東北人。 一個月前我還...
    沈念sama閱讀 49,279評論 3 379
  • 正文 我出身青樓牛欢,卻偏偏與公主長得像骡男,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子傍睹,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,851評論 2 361

推薦閱讀更多精彩內(nèi)容

  • "use strict";function _classCallCheck(e,t){if(!(e instanc...
    久些閱讀 2,034評論 0 2
  • 喜歡陽光的天隔盛。 鉆石一樣的陽光,在窗外不銹鋼護欄上閃閃發(fā)亮拾稳,在一些不知名的綠果果吮炕、紅果果、黃果果上閃閃發(fā)亮访得,在校園...
    搖曳的長裙閱讀 1,594評論 9 7
  • 冰冷的夜龙亲, 靜悄悄的可怕, 一輪孤月掛在窗前悍抑, 一束身影坐在窗下鳄炉, 彷徨, 迷茫搜骡, 夜一般的沉寂拂盯, 看不到未來, ...
    無痕無淚無語閱讀 129評論 0 0
  • 沒有理由的亂發(fā)脾氣记靡,真讓人匪夷所思谈竿,頭皮發(fā)麻……
    梨兒花開閱讀 1,051評論 0 0