18年第20周:李航 | 決策樹(shù)學(xué)習(xí)的通俗解釋

決策樹(shù)入門(mén)案例

是否學(xué)習(xí)的決策過(guò)程解釋:
橢圓框內(nèi):是決策樹(shù)的特征(根據(jù)特征來(lái)分類)锐涯,比如<女票>蚌父;
表情圖:是決策樹(shù)的類別(決策樹(shù)是用來(lái)分類的)侠畔,比如<學(xué)習(xí)>撮慨;
有向箭頭:是決策樹(shù)特征的屬性值竿痰,比如<需要>脆粥;


一、整體直觀的了解:

決策樹(shù)算法構(gòu)成:

  1. 決策樹(shù)的構(gòu)造
  • ①?zèng)Q策樹(shù)的特征選擇
  • ②決策樹(shù)的生成
  • ③決策樹(shù)的剪枝過(guò)程
  1. 決策樹(shù)的決策(遍歷)

決策樹(shù)算法構(gòu)成的具體解釋:
首先影涉,在《是否學(xué)習(xí)的決策過(guò)程》入門(mén)案例過(guò)程中变隔,重點(diǎn)難點(diǎn)在于怎么構(gòu)造決策樹(shù)。這又分為三部份:

第一部分①?zèng)Q策樹(shù)的特征選擇蟹倾,決策樹(shù)本身是個(gè)分類決策做決定的過(guò)程匣缘,那么對(duì)我們做決策有影響(術(shù)語(yǔ)叫:信息增益Or信息增益比)的事物就可能作為特征,所以鲜棠,女票必須是特征肌厨;

第二部分②決策樹(shù)的生成,當(dāng)我們完成特征選擇后豁陆,怎么把這些特征排成一顆樹(shù)呢柑爸?哪個(gè)特征應(yīng)該放在樹(shù)的頂端Or樹(shù)的中部Or樹(shù)的底部呢?按照常識(shí)盒音,當(dāng)然是按照重要性(術(shù)語(yǔ)叫:信息增益大小)大小來(lái)排布了表鳍。而女票是個(gè)重要性(術(shù)語(yǔ)叫:信息增益)最大,所以排第一沒(méi)毛蚕榉獭譬圣!

第三部分③決策樹(shù)的剪枝:經(jīng)過(guò)②決策樹(shù)的生成,我們得到的只是一個(gè)片面的局部的決策樹(shù)模型雄坪,他只能實(shí)現(xiàn)局部最優(yōu)化厘熟,也就是可能在人生的某一時(shí)期實(shí)現(xiàn)最優(yōu)化,但不能確保整個(gè)人生的最優(yōu)化诸衔。因此為了實(shí)現(xiàn)人生損失的最小化(術(shù)語(yǔ)叫:損失函數(shù)的最小化Or正則化的極大似然估計(jì))盯漂,就必須進(jìn)行第三部分的剪枝過(guò)程颇玷。

其次笨农,根據(jù)決策樹(shù)構(gòu)成三部分的不同而組成了不同的決策樹(shù)算法。

決策樹(shù)的構(gòu)成

決策樹(shù)本身是個(gè)分類過(guò)程帖渠,當(dāng)然有著不同的分法谒亦,這就像不同的人擁有著不同的價(jià)值觀,也就對(duì)同一事物(女票第一還是吃雞第一)有著不同的評(píng)價(jià)空郊。在業(yè)界內(nèi)份招,一般有著這樣三種不同的評(píng)價(jià)(女票第一還是吃雞第一)算法。
決策樹(shù)的算法

  1. CART算法--1984年
  2. ID3算法--1986年
  3. C4.5算法--1993年(機(jī)器學(xué)習(xí)十大算法之一)
    算法的不同具體點(diǎn)說(shuō)就是決策樹(shù)組成的三大部分不同狞甚,也許是特征選擇不同锁摔、也許是決策樹(shù)的生成不同、也許是決策的剪枝不同哼审。

最后谐腰,當(dāng)我們通過(guò)決策樹(shù)的算法構(gòu)造好了一顆決策樹(shù)后孕豹,我們就可以進(jìn)行決策了。決策樹(shù)的決策過(guò)程簡(jiǎn)單點(diǎn)說(shuō)就是決策樹(shù)的遍歷十气。

具體微觀的學(xué)習(xí):

這部分主要是上面所說(shuō)的三大算法的數(shù)學(xué)學(xué)習(xí)励背,側(cè)重點(diǎn)在于C4.5算法(機(jī)器學(xué)習(xí)十大算法之一)
首先,了解一下決策樹(shù)的CART算法砸西、ID3算法叶眉、C4.5算法的同與不同。我們知道芹枷,決策樹(shù)的算法由三大部分構(gòu)成衅疙,那么算法的不同當(dāng)然是三大部分的不同。

所謂的不同鸳慈?到底是什么不同呢炼蛤?窮舉

決策樹(shù)算法的不同

其次,來(lái)看看三類算法的具體理論蝶涩、案例理朋、總結(jié)
CART算法:CART算法的具體理論绿聘、案例嗽上、總結(jié)
ID3算法:ID3算法的具體理論、案例熄攘、總結(jié)
C4.5算法:C4.5算法的具體理論兽愤、案例、總結(jié)

目前在自學(xué)機(jī)器學(xué)習(xí)相關(guān)的內(nèi)容挪圾,由于作者水平有限浅萧,文中難免有錯(cuò)誤和不當(dāng)之處,歡迎專家和讀者給予批評(píng)指正哲思。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末洼畅,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子棚赔,更是在濱河造成了極大的恐慌帝簇,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件靠益,死亡現(xiàn)場(chǎng)離奇詭異丧肴,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)胧后,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)芋浮,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人壳快,你說(shuō)我怎么就攤上這事纸巷〗迹” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,921評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵何暇,是天一觀的道長(zhǎng)陶夜。 經(jīng)常有香客問(wèn)我,道長(zhǎng)裆站,這世上最難降的妖魔是什么条辟? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,648評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮宏胯,結(jié)果婚禮上羽嫡,老公的妹妹穿的比我還像新娘。我一直安慰自己肩袍,他們只是感情好杭棵,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著氛赐,像睡著了一般魂爪。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上艰管,一...
    開(kāi)封第一講書(shū)人閱讀 49,950評(píng)論 1 291
  • 那天滓侍,我揣著相機(jī)與錄音,去河邊找鬼牲芋。 笑死撩笆,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的缸浦。 我是一名探鬼主播夕冲,決...
    沈念sama閱讀 39,090評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼裂逐!你這毒婦竟也來(lái)了歹鱼?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,817評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤絮姆,失蹤者是張志新(化名)和其女友劉穎醉冤,沒(méi)想到半個(gè)月后秩霍,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體篙悯,經(jīng)...
    沈念sama閱讀 44,275評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評(píng)論 2 327
  • 正文 我和宋清朗相戀三年铃绒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鸽照。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,724評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡颠悬,死狀恐怖矮燎,靈堂內(nèi)的尸體忽然破棺而出定血,到底是詐尸還是另有隱情,我是刑警寧澤诞外,帶...
    沈念sama閱讀 34,409評(píng)論 4 333
  • 正文 年R本政府宣布澜沟,位于F島的核電站,受9級(jí)特大地震影響峡谊,放射性物質(zhì)發(fā)生泄漏茫虽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評(píng)論 3 316
  • 文/蒙蒙 一既们、第九天 我趴在偏房一處隱蔽的房頂上張望濒析。 院中可真熱鬧,春花似錦啥纸、人聲如沸号杏。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,815評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)盾致。三九已至,卻和暖如春荣暮,著一層夾襖步出監(jiān)牢的瞬間绰上,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,043評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工渠驼, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蜈块,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,503評(píng)論 2 361
  • 正文 我出身青樓迷扇,卻偏偏與公主長(zhǎng)得像百揭,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蜓席,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容