在梳理知識(shí)的時(shí)候，需要把知識(shí)串起來，才能更好的理解知識(shí)溃列，因此本文的目的是結(jié)合GBDT方法與決策樹方法串聯(lián)起來，以更好的理解GBDT算法膛薛。
我們都知道哭廉，簡(jiǎn)單的決策樹的算法有ID3，C4.5相叁，還有CART。ID3和C4.5的決策樹生成方法涉及信息增益和信息增益比兩個(gè)重要方法辽幌，CART則有兩種：回歸使用的是MSE增淹，分類用的是Gini系數(shù)。
決策樹的缺點(diǎn)有過擬合和欠擬合乌企。這兩個(gè)問題都可以采用集成學(xué)習(xí)的方法來解決虑润。采用GBDT主要解決的是欠擬合問題。
GBDT
gbdt的理解我就不班門弄斧了加酵，這里推薦一個(gè)知乎上非常棒的講解拳喻，講的非常清晰哭当。此處重點(diǎn)強(qiáng)調(diào)一下原有模型上新加上一棵樹的方法
新樹的損失函數(shù)是:
最小值是：
那么生成節(jié)點(diǎn)后的信息增益是：
image.png
因此，其實(shí)可以這么理解冗澈，
