基本流程：
??略
劃分選擇：
??“信息熵”是度量樣本集合純度最常用的一項(xiàng)指標(biāo)
??
??“信息增益”是度量某個(gè)屬性對(duì)劃分的增益
??
??表示該屬性的權(quán)重值
剪枝處理：
??剪枝是決策樹學(xué)習(xí)算法對(duì)“過擬合”的主要手段，若不采取剪枝有時(shí)會(huì)造成決策樹分支過多，導(dǎo)致過擬合剥懒。決策樹剪枝的基本策略有“預(yù)剪枝”和“后剪枝”木柬。
預(yù)剪枝：
??在決策樹每個(gè)結(jié)點(diǎn)劃分前進(jìn)行估計(jì)，若劃分不能帶來決策樹的泛化能力的提升赡矢，則停止劃分并且將當(dāng)前結(jié)點(diǎn)標(biāo)記為葉結(jié)點(diǎn)。
??預(yù)剪枝使得部分分支沒有“展開”题造，不僅降低了過擬合的風(fēng)險(xiǎn)還顯著減少了決策樹的訓(xùn)練時(shí)間開銷和測試時(shí)間鹦赎。但是預(yù)剪枝基于“貪心”的思想谍椅，給決策樹帶來了欠擬合的風(fēng)險(xiǎn)。
后剪枝：
??后剪枝先從生成完整決策樹古话，然后對(duì)分支進(jìn)行計(jì)算雏吭，若將分支替換為葉結(jié)點(diǎn)能提升泛化能力則替換。
??后剪枝一般比預(yù)剪枝保留了更多的分支陪踩，欠擬合的風(fēng)險(xiǎn)很小杖们，泛化能力優(yōu)于預(yù)剪枝，但是由于要生成完整的決策樹且自底向上的對(duì)結(jié)點(diǎn)逐一考察肩狂，開銷要大得多摘完。
連續(xù)與缺失值：
連續(xù)值
??在連續(xù)值取件中選擇一個(gè)劃分點(diǎn)，一側(cè)為正例另一側(cè)為反例傻谁。
缺失值處理
??將屬性A為缺失部分進(jìn)行信息增益計(jì)算孝治，然后乘以屬性A未缺失值所占比例，為屬性A的信息增益栅螟。
多變量決策樹：
??顯然決策樹的每個(gè)屬性結(jié)點(diǎn)在坐標(biāo)軸中都是垂直于坐標(biāo)軸的直線荆秦，由此在實(shí)際情況中較為復(fù)雜，因此采用多變量決策樹力图。例如：
????
??這樣的屬性結(jié)點(diǎn)在坐標(biāo)上為非垂直于坐標(biāo)軸的直線步绸。
