姓名：劉帆型奥；學(xué)號(hào)：20021210609娘摔；學(xué)院：電子工程學(xué)院
轉(zhuǎn)載于：
https://blog.csdn.net/donghua_wu/article/details/45746569
【嵌牛導(dǎo)讀】以2009 KDD Challenge 大數(shù)據(jù)集來(lái)預(yù)測(cè)客戶流失量為例子囚企。 該數(shù)據(jù)集維度達(dá)到 15000 維。 大多數(shù)數(shù)據(jù)挖掘算法都直接對(duì)數(shù)據(jù)逐列處理寝殴，在數(shù)據(jù)數(shù)目一大時(shí)动遭，導(dǎo)致算法越來(lái)越慢。那么如何能實(shí)現(xiàn)在減少數(shù)據(jù)列數(shù)的同時(shí)保證丟失的數(shù)據(jù)信息盡可能少呢捏肢。
【嵌牛鼻子】數(shù)據(jù)降維
【嵌牛提問】如何實(shí)現(xiàn)數(shù)據(jù)降維
【嵌牛正文】
隨著數(shù)據(jù)集的增加奈籽，衍生出大數(shù)據(jù)平臺(tái)和并行數(shù)據(jù)分析算法，同時(shí)數(shù)據(jù)的降維過程的使用重要性也隨之凸顯鸵赫。數(shù)據(jù)的維度并不是越多越好衣屏，在數(shù)據(jù)分析的過程大量的數(shù)據(jù)也可能產(chǎn)生很差的表現(xiàn)效果。現(xiàn)在就自己最近看的一篇文章總結(jié)降維的幾種方法：
1.缺失值的比例
數(shù)據(jù)列如果存在太多的缺失值是不可能有太多的有用信息辩棒，因此設(shè)定一個(gè)閾值狼忱，如果數(shù)據(jù)列缺失的數(shù)據(jù)大于閾值時(shí)將數(shù)據(jù)列刪除，設(shè)定的閾值越大刪除的數(shù)據(jù)列越多隨之維度減少的幅度也越大
2.低方差過濾
和缺失值比例很相似一睁，數(shù)據(jù)列中的數(shù)據(jù)很小的變動(dòng)即方差過小時(shí)（低于預(yù)先設(shè)定的閾值）刪除數(shù)據(jù)列钻弄。特別注意的是：方差是依賴于范圍的，因此在應(yīng)用該方法前對(duì)數(shù)據(jù)正則化處理者吁。
3.高相關(guān)過濾
數(shù)據(jù)列中有相似趨勢(shì)往往也存在著相似的信息窘俺，這種情況下往往一個(gè)數(shù)據(jù)列就可以參與機(jī)器學(xué)習(xí)的模型的建立了，因此我們需要計(jì)算數(shù)值列之間的相關(guān)系數(shù)和標(biāo)稱列之間的皮爾遜積矩系數(shù)和皮爾遜卡方值砚偶，雙列的相關(guān)系數(shù)高于設(shè)定的閾值時(shí)可以減少到只有一個(gè)批销。提醒一下：相關(guān)量比較敏感，因此列的歸一化需要一個(gè)相對(duì)有意義的相關(guān)性比較染坯。
4.Random Forests / Ensemble Trees
決策樹的ensemble也成為RF（隨機(jī)森林）均芽，除了在做有效的分類器很有用外，在特征選擇方面也很有效果单鹿。一種降維的方法是針對(duì)目標(biāo)屬性生成一個(gè)大的和構(gòu)造的樹,然后使用每個(gè)屬性的使用統(tǒng)計(jì)數(shù)據(jù)發(fā)現(xiàn)大多數(shù)信息的特征子集掀宋。特別地，我們可以生成大量層次很低的樹（2層），與每棵樹正在訓(xùn)練總額的一小部分?jǐn)?shù)量的屬性劲妙。如果一個(gè)屬性經(jīng)常被選為最佳的湃鹊，它是最有可能被保留的一個(gè)有效特征。在RF中分?jǐn)?shù)計(jì)算的隨機(jī)屬性的使用統(tǒng)計(jì)數(shù)據(jù)告訴我們——相對(duì)于其他屬性——這是最有預(yù)測(cè)力的屬性镣奋。
5.PCA（主成分分析）
主成分分析(PCA)是一種正交統(tǒng)計(jì)過程,將一個(gè)數(shù)據(jù)集的原始n坐標(biāo)轉(zhuǎn)換成一個(gè)新的n組坐標(biāo)（叫做主成分）币呵。轉(zhuǎn)化的結(jié)果，第一個(gè)主成分具有最大可能的方差侨颈，在正交于（不相關(guān)）先前的主成分的限制條件下余赢，每個(gè)成功轉(zhuǎn)化后的成分都具有最高可能的方差。只保留第一個(gè)m < n成分降低了數(shù)據(jù)的維度,同時(shí)保留大部分的數(shù)據(jù)信息也就是變化的數(shù)據(jù)哈垢。注意,PCA轉(zhuǎn)化對(duì)原始變量的變化比例很敏感妻柒。數(shù)據(jù)列（維度）范圍在應(yīng)用PCA之前需要正則化；同時(shí)也要注意新的坐標(biāo)系（PCs）不再是真正的系統(tǒng)變量了耘分；PCA在應(yīng)用到你的數(shù)據(jù)集產(chǎn)生新的維度時(shí)也就失去了它的可解釋性举塔，如果結(jié)果的可解釋性對(duì)于你的數(shù)據(jù)分析很重要，那么在針對(duì)你的項(xiàng)目分析時(shí)求泰，PCA不能作為你的首要選擇轉(zhuǎn)化方法央渣。
6.反向特征的消除
這個(gè)方法中，在給定的迭代次數(shù)下選定的分類算法對(duì)n個(gè)輸入特征進(jìn)行訓(xùn)練拜秧，然后我們每次刪除一個(gè)輸入特征用相同的模型對(duì)剩下的n-1個(gè)輸入特征訓(xùn)練n次痹屹，刪除的輸入特征在錯(cuò)誤率上已產(chǎn)生最小的增長(zhǎng)應(yīng)該就將其刪除章郁，留給我們將剩余的n-1個(gè)輸入特征枉氮。分類器接著使用n-2個(gè)特征作為輸入，等等…每次迭代k產(chǎn)生一個(gè)模型訓(xùn)練n-k特征和一個(gè)出錯(cuò)率e(k)暖庄；選擇一個(gè)最大可容許的錯(cuò)誤率聊替，我們定義的最小數(shù)量的特性必須達(dá)到所選的機(jī)器學(xué)習(xí)算法的分類器的性能。
7.正向特征的構(gòu)建
這種方法和反向特征消除方法具有相反的處理過程培廓。剛開始只處理一個(gè)特征惹悄，然后逐步每次添加一個(gè)特征，也就是說輸入特征即特征維度在分類器的性能上產(chǎn)生最大的增加肩钠。就這兩種算法而言泣港，計(jì)算特別耗時(shí)而且計(jì)算量也特別大，它們實(shí)際上只適用于一個(gè)數(shù)據(jù)集已經(jīng)相對(duì)具有較少的輸入列（特偵維度）价匠。
除了上面談到的幾種方法外当纱，隨機(jī)推測(cè)、NMF踩窖、自動(dòng)編碼器坡氯、卡方檢驗(yàn)或信息增益、多維度等級(jí)法、一致性分析箫柳、因子分析手形、聚類和貝葉斯模型在數(shù)據(jù)降維上表現(xiàn)也不錯(cuò)。
