在建模中翠拣，需要對連續(xù)變量離散化谆沃，特征離散化后，模型會更穩(wěn)定介袜，降低了模型過擬合的風險甫何。
有監(jiān)督的卡方分箱法(ChiMerge)
自底向上的(即基于合并的)數(shù)據(jù)離散化方法。?
它依賴于卡方檢驗:具有最小卡方值的相鄰區(qū)間合并在一起,直到滿足確定的停止準則遇伞。
基本思想:
對于精確的離散化辙喂，相對類頻率在一個區(qū)間內(nèi)應(yīng)當完全一致。因此,如果兩個相鄰的區(qū)間具有非常類似的類分布鸠珠，則這兩個區(qū)間可以合并巍耗；否則，它們應(yīng)當保持分開渐排。而低卡方值表明它們具有相似的類分布炬太。
這里需要注意初始化時需要對實例進行排序，在排序的基礎(chǔ)上進行合并驯耻。
卡方閾值的確定：
根據(jù)顯著性水平和自由度得到卡方值?
自由度比類別數(shù)量小1亲族。例如：有3類,自由度為2，則90%置信度(10%顯著性水平)下吓歇，卡方的值為4.6孽水。
閾值的意義
類別和屬性獨立時,有90%的可能性,計算得到的卡方值會小于4.6票腰。 大于閾值4.6的卡方值就說明屬性和類不是相互獨立的城看，不能合并。如果閾值選的大,區(qū)間合并就會進行很多次,離散后的區(qū)間數(shù)量少杏慰、區(qū)間大测柠。?
注:?
1,ChiMerge算法推薦使用0.90、0.95缘滥、0.99置信度,最大區(qū)間數(shù)取10到15之間.?
2,也可以不考慮卡方閾值,此時可以考慮最小區(qū)間數(shù)或者最大區(qū)間數(shù)轰胁。指定區(qū)間數(shù)量的上限和下限,最多幾個區(qū)間,最少幾個區(qū)間。?
3,對于類別型變量,需要分箱時需要按照某種方式進行排序朝扼。
無監(jiān)督分箱法:
等距劃分赃阀、等頻劃分
等距分箱?
從最小值到最大值之間,均分為 N 等份, 這樣, 如果 A,B 為最小最大值, 則每個區(qū)間的長度為 W=(B?A)/N , 則區(qū)間邊界值為A+W,A+2W,….A+(N?1)W 。這里只考慮邊界擎颖，每個等份里面的實例數(shù)量可能不等榛斯。?
等頻分箱?
區(qū)間的邊界值要經(jīng)過選擇,使得每個區(qū)間包含大致相等的實例數(shù)量观游。比如說 N=10 ,每個區(qū)間應(yīng)該包含大約10%的實例。?
以上兩種算法的弊端?
比如,等寬區(qū)間劃分,劃分為5區(qū)間,最高工資為50000,則所有工資低于10000的人都被劃分到同一區(qū)間驮俗。等頻區(qū)間可能正好相反,所有工資高于50000的人都會被劃分到50000這一區(qū)間中懂缕。這兩種算法都忽略了實例所屬的類型,落在正確區(qū)間里的偶然性很大。
我們對特征進行分箱后王凑，需要對分箱后的每組（箱）進行woe編碼搪柑，然后才能放進模型訓(xùn)練。
