離散化

離散化指把連續(xù)型數(shù)據(jù)切分為若干“段”,也稱bin比原,是數(shù)據(jù)分析中常用的手段插佛。切分的原則有等距,等頻春寿,優(yōu)化朗涩,或根據(jù)數(shù)據(jù)特點而定。在營銷數(shù)據(jù)挖掘中绑改,離散化得到普遍采用谢床。究其原因,有這樣幾點:

①算法需要厘线。例如決策樹识腿,NaiveBayes等算法本身不能直接使用連續(xù)型變量,連續(xù)型數(shù)據(jù)只有經(jīng)離散處理后才能進入算法引擎造壮。這一點在使用具體軟件時可能不明顯渡讼。因為大多數(shù)數(shù)據(jù)挖掘軟件內(nèi)已經(jīng)內(nèi)建了離散化處理程序,所以從使用界面看耳璧,軟件可以接納任何形式的數(shù)據(jù)成箫。但實際上,在運算決策樹或NaiveBayes模型前旨枯,軟件都要在后臺對數(shù)據(jù)先作預處理蹬昌。

②離散化可以有效地克服數(shù)據(jù)中隱藏的缺陷:使模型結(jié)果更加穩(wěn)定。例如攀隔,數(shù)據(jù)中的極端值是影響模型效果的一個重要因素皂贩。極端值導致模型參數(shù)過高或過低栖榨,或?qū)е履P捅惶摷佻F(xiàn)象“迷惑”,把原來不存在的關系作為重要模式來學習明刷。而離散化婴栽,尤其是等距離散,可以有效地減弱極端值和異常值的影響辈末,

③有利于對非線性關系進行診斷和描述:對連續(xù)型數(shù)據(jù)進行離散處理后愚争,自變量和目標變量之間的關系變得清晰化。如果兩者之間是非線性關系本冲,可以重新定義離散后變量每段的取值准脂,如采取0,1的形式檬洞,由一個變量派生為多個啞變量狸膏,分別確定每段和目標變量間的聯(lián)系。這樣做添怔,雖然減少了模型的自由度湾戳,但可以大大提高模型的靈活度。

即使在連續(xù)型自變量和目標變量之間的關系比較明確广料,例如可以用直線描述的情況下砾脑,對自變量進行離散處理也有若干優(yōu)點。一是便于模型的解釋和使用艾杏,二是可以增加模型的區(qū)別能力韧衣。

等距:將連續(xù)型變量的取值范圍均勻劃成n等份,每份的間距相等购桑。例如畅铭,客戶訂閱刊物的時間是一個連續(xù)型變量,可以從幾天到幾年勃蜘。采取等距切分可以把1年以下的客戶劃分成一組硕噩,1-2年的客戶為一組,2-3年為一組..缭贡,以此類分炉擅,組距都是一年。

等頻:把觀察點均勻分為n等份阳惹,每份內(nèi)包含的觀察點數(shù)相同谍失。還取上面的例子,設該雜志訂戶共有5萬人莹汤,等頻分段需要先把訂戶按訂閱時間按順序排列快鱼,排列好后可以按5000人一組,把全部訂戶均勻分為十段。

等距和等頻在大多數(shù)情況下導致不同的結(jié)果攒巍。等距可以保持數(shù)據(jù)原有的分布,段落越多對數(shù)據(jù)原貌保持得越好荒勇。等頻處理則把數(shù)據(jù)變換成均勻分布柒莉,但其各段內(nèi)觀察值相同這一點是等距分割作不到的。

優(yōu)化離散:需要把自變量和目標變量聯(lián)系起來考察沽翔。切分點是導致目標變量出現(xiàn)明顯變化的折點兢孝。常用的檢驗指標有卡方,信息增益仅偎,基尼指數(shù)跨蟹,或WOE(要求目標變量是兩元變量)

離散連續(xù)型數(shù)據(jù)還可以按照需要而定。比如橘沥,當營銷的重點是19-24歲的大學生消費群體時窗轩,就可以把這部分人單獨劃出。

離散化處理不免要損失一部分信息座咆。很顯然痢艺,對連續(xù)型數(shù)據(jù)進行分段后,同一個段內(nèi)的觀察點之間的差異便消失了介陶。同時堤舒,進行了離散處理的變量有了新值。比如現(xiàn)在可以簡單地用1,2,3..這樣一組數(shù)字來標志雜志訂戶所處的段落哺呜。這組數(shù)字和原來的客戶訂閱雜志的時間沒有直接的聯(lián)系舌缤,也不再具備連續(xù)型數(shù)據(jù)可以運算的關系。例如某残,使用原來的數(shù)據(jù)国撵,我們可以說已有兩年歷史的客戶訂閱時間是只有一年歷史客戶的兩倍,但經(jīng)過離散處理后驾锰,我們只知道第2組的客戶的平均訂閱時間高于第一組客戶卸留,但無法知道兩組客戶之間的確切差距。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末椭豫,一起剝皮案震驚了整個濱河市耻瑟,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌赏酥,老刑警劉巖喳整,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異裸扶,居然都是意外死亡框都,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進店門呵晨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來魏保,“玉大人熬尺,你說我怎么就攤上這事∥铰蓿” “怎么了粱哼?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長檩咱。 經(jīng)常有香客問我揭措,道長,這世上最難降的妖魔是什么刻蚯? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任绊含,我火速辦了婚禮,結(jié)果婚禮上炊汹,老公的妹妹穿的比我還像新娘躬充。我一直安慰自己,他們只是感情好讨便,可當我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布麻裳。 她就那樣靜靜地躺著,像睡著了一般器钟。 火紅的嫁衣襯著肌膚如雪津坑。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天傲霸,我揣著相機與錄音疆瑰,去河邊找鬼。 笑死昙啄,一個胖子當著我的面吹牛穆役,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播梳凛,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼耿币,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了韧拒?” 一聲冷哼從身側(cè)響起淹接,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎叛溢,沒想到半個月后塑悼,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡楷掉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年厢蒜,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡斑鸦,死狀恐怖愕贡,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情巷屿,我是刑警寧澤颂鸿,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站攒庵,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏败晴。R本人自食惡果不足惜浓冒,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望尖坤。 院中可真熱鬧稳懒,春花似錦、人聲如沸慢味。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽纯路。三九已至或油,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間驰唬,已是汗流浹背顶岸。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留叫编,地道東北人辖佣。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像搓逾,于是被迫代替她去往敵國和親卷谈。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內(nèi)容