數(shù)據(jù)挖掘比賽技巧——確定數(shù)據(jù)同分布
Filter
Filter這類方法是選定一個(gè)指標(biāo)來評(píng)估特征漫玄，根據(jù)指標(biāo)值來對(duì)特征排序压彭，去掉達(dá)不到足夠分?jǐn)?shù)的特征壮不。這類方法只考慮特征和目標(biāo)之間的關(guān)聯(lián)，相對(duì)另兩類特征選擇方法Wrapper和Embedded計(jì)算開銷最少隐孽。指標(biāo)的選擇對(duì)Filter方法至關(guān)重要健蕊，下面我們就看幾種被大家通常使用的指標(biāo)。
統(tǒng)計(jì)的視角：
相關(guān)系數(shù)(Correlation)晴及。統(tǒng)計(jì)課本里都講過的皮爾森相關(guān)系數(shù)是最常用的方法。需要注意的是當(dāng)樣本數(shù)很少或者特征的取值范圍更廣時(shí)抗俄，更容易得出絕對(duì)值更大的皮爾森系數(shù)，所以樣本量不同或者取值范圍不同的特征的之間相關(guān)系數(shù)不一定可以做比較槽卫。另外皮爾森相關(guān)系數(shù)只能衡量線性相關(guān)性胰蝠，隨機(jī)變量和不相關(guān)并不意味二者獨(dú)立茸塞。當(dāng)相關(guān)系數(shù)為0時(shí)我們知道的是線性分類器不能單利用這個(gè)特征的目前的形態(tài)做到將不同的類分開钾虐，但通過特征本身的變換、和其它特征組合使用或者與其它特征結(jié)合出新的特征卻可能讓它煥發(fā)出生機(jī)發(fā)揮出價(jià)值倔监。
假設(shè)檢驗(yàn)(Hypothesis Testing)菌仁。將特征和目標(biāo)之間獨(dú)立作為H0假設(shè)济丘，選擇檢驗(yàn)方法計(jì)算統(tǒng)計(jì)量，然后根據(jù)統(tǒng)計(jì)量確定值做出統(tǒng)計(jì)推斷疟赊。
信息論的視角：
互信息(Mutual Information)：峡碉，函數(shù)表示信息（負(fù)熵），函數(shù) 表示概率异赫。
信息增益(Information Gain)：塔拳。
最小描述長度(Minimum Description Length)靠抑。
Wrapper
Wrapper方法和Filter不同适掰，它不單看特征和目標(biāo)直接的關(guān)聯(lián)性，而是從添加這個(gè)特征后模型最終的表現(xiàn)來評(píng)估特征的好壞载城。Wrapper方法需要選定一種評(píng)估模型效果的指標(biāo)，如Area Under the Curve (AUC)川队、Mean Absolute Error (MAE)睬澡、Mean Squared Error(MSE)煞聪。假設(shè)我們有個(gè)特征昔脯，除去空集外這個(gè)特征可以組成個(gè)集合，最暴力的方法是分別用個(gè)特征集合訓(xùn)練得到模型做評(píng)估栅干，最后選擇模型效果最好的集合碱鳞。顯而易見當(dāng)很大時(shí)窮舉法計(jì)算開銷驚人。所以前向特征選擇(Forward Feature Selection)和后向特征選擇(Backward Feature Selection)這樣的貪心策略更為大家平常所用贵白。前向特征選擇從空集開始禁荒，每次在現(xiàn)有特征集合的基礎(chǔ)上添加一個(gè)讓模型效果最好的特征。相反呛伴，后向特征選擇一開始包括所有的候選特征热康，每次去掉一個(gè)讓模型指標(biāo)提升最多的特征劣领。
離線評(píng)估結(jié)果是重要的參考指標(biāo)，但在實(shí)際應(yīng)用中，往往最終還是通過線上A/B Test實(shí)驗(yàn)來判斷一個(gè)特征的效果奕锌。在實(shí)際應(yīng)用中離線評(píng)估不錯(cuò)的特征在線上表現(xiàn)不一定就好著觉，線上線下評(píng)估的一致性和影響因素是另一個(gè)可以值得研究的問題。
Embedded
Filter方法和Wrapper方法都是和分類算法本身的實(shí)現(xiàn)無關(guān)惊暴，可以與各種算法結(jié)合使用饼丘。而Embedded特征選擇方法與算法本身緊密結(jié)合，在模型訓(xùn)練過程中完成特征的選擇缴守。例如：決策樹算法每次都優(yōu)先選擇分類能力最強(qiáng)的特征葬毫；邏輯回歸算法的優(yōu)化目標(biāo)函數(shù)在log likelihood的基礎(chǔ)上加上對(duì)權(quán)重的L1或者L2等罰項(xiàng)后也會(huì)讓信號(hào)弱的特征權(quán)重很小甚至為0。
一些優(yōu)化算法天然就適合在每步判斷一個(gè)維度特征的好壞屡穗，所以可以在學(xué)習(xí)器在設(shè)計(jì)時(shí)就同時(shí)融合了特征選擇功能贴捡，在訓(xùn)練過程中自動(dòng)嘗試構(gòu)造特征和選擇特征。
小結(jié)
Filter村砂、Wrapper烂斋、Embedded三種方法各有不同，但沒有孰好孰壞之分，在我們的實(shí)際工作中會(huì)結(jié)合使用帘瞭。Filter作為簡單快速的特征檢驗(yàn)方法，可以指導(dǎo)特征的預(yù)處理和特征的初選。Embedded特征選擇是我們學(xué)習(xí)器本身所具備的能力廷蓉。通過Wrapper來離線和在線評(píng)估是否增加一個(gè)特征。
