離散化指把連續(xù)型數(shù)據(jù)切分為若干“段”,也稱bin比原,是數(shù)據(jù)分析中常用的手段插佛。切分的原則有等距,等頻春寿,優(yōu)化朗涩,或根據(jù)數(shù)據(jù)特點而定。在營銷數(shù)據(jù)挖掘中绑改,離散化得到普遍采用谢床。究其原因,有這樣幾點:
①算法需要厘线。例如決策樹识腿,NaiveBayes等算法本身不能直接使用連續(xù)型變量,連續(xù)型數(shù)據(jù)只有經(jīng)離散處理后才能進入算法引擎造壮。這一點在使用具體軟件時可能不明顯渡讼。因為大多數(shù)數(shù)據(jù)挖掘軟件內(nèi)已經(jīng)內(nèi)建了離散化處理程序,所以從使用界面看耳璧,軟件可以接納任何形式的數(shù)據(jù)成箫。但實際上,在運算決策樹或NaiveBayes模型前旨枯,軟件都要在后臺對數(shù)據(jù)先作預處理蹬昌。
②離散化可以有效地克服數(shù)據(jù)中隱藏的缺陷:使模型結(jié)果更加穩(wěn)定。例如攀隔,數(shù)據(jù)中的極端值是影響模型效果的一個重要因素皂贩。極端值導致模型參數(shù)過高或過低栖榨,或?qū)е履P捅惶摷佻F(xiàn)象“迷惑”,把原來不存在的關系作為重要模式來學習明刷。而離散化婴栽,尤其是等距離散,可以有效地減弱極端值和異常值的影響辈末,
③有利于對非線性關系進行診斷和描述:對連續(xù)型數(shù)據(jù)進行離散處理后愚争,自變量和目標變量之間的關系變得清晰化。如果兩者之間是非線性關系本冲,可以重新定義離散后變量每段的取值准脂,如采取0,1的形式檬洞,由一個變量派生為多個啞變量狸膏,分別確定每段和目標變量間的聯(lián)系。這樣做添怔,雖然減少了模型的自由度湾戳,但可以大大提高模型的靈活度。
即使在連續(xù)型自變量和目標變量之間的關系比較明確广料,例如可以用直線描述的情況下砾脑,對自變量進行離散處理也有若干優(yōu)點。一是便于模型的解釋和使用艾杏,二是可以增加模型的區(qū)別能力韧衣。
等距:將連續(xù)型變量的取值范圍均勻劃成n等份,每份的間距相等购桑。例如畅铭,客戶訂閱刊物的時間是一個連續(xù)型變量,可以從幾天到幾年勃蜘。采取等距切分可以把1年以下的客戶劃分成一組硕噩,1-2年的客戶為一組,2-3年為一組..缭贡,以此類分炉擅,組距都是一年。
等頻:把觀察點均勻分為n等份阳惹,每份內(nèi)包含的觀察點數(shù)相同谍失。還取上面的例子,設該雜志訂戶共有5萬人莹汤,等頻分段需要先把訂戶按訂閱時間按順序排列快鱼,排列好后可以按5000人一組,把全部訂戶均勻分為十段。
等距和等頻在大多數(shù)情況下導致不同的結(jié)果攒巍。等距可以保持數(shù)據(jù)原有的分布,段落越多對數(shù)據(jù)原貌保持得越好荒勇。等頻處理則把數(shù)據(jù)變換成均勻分布柒莉,但其各段內(nèi)觀察值相同這一點是等距分割作不到的。
優(yōu)化離散:需要把自變量和目標變量聯(lián)系起來考察沽翔。切分點是導致目標變量出現(xiàn)明顯變化的折點兢孝。常用的檢驗指標有卡方,信息增益仅偎,基尼指數(shù)跨蟹,或WOE(要求目標變量是兩元變量)
離散連續(xù)型數(shù)據(jù)還可以按照需要而定。比如橘沥,當營銷的重點是19-24歲的大學生消費群體時窗轩,就可以把這部分人單獨劃出。
離散化處理不免要損失一部分信息座咆。很顯然痢艺,對連續(xù)型數(shù)據(jù)進行分段后,同一個段內(nèi)的觀察點之間的差異便消失了介陶。同時堤舒,進行了離散處理的變量有了新值。比如現(xiàn)在可以簡單地用1,2,3..這樣一組數(shù)字來標志雜志訂戶所處的段落哺呜。這組數(shù)字和原來的客戶訂閱雜志的時間沒有直接的聯(lián)系舌缤,也不再具備連續(xù)型數(shù)據(jù)可以運算的關系。例如某残,使用原來的數(shù)據(jù)国撵,我們可以說已有兩年歷史的客戶訂閱時間是只有一年歷史客戶的兩倍,但經(jīng)過離散處理后驾锰,我們只知道第2組的客戶的平均訂閱時間高于第一組客戶卸留,但無法知道兩組客戶之間的確切差距。