Filter
Filter這類方法是選定一個(gè)指標(biāo)來(lái)評(píng)估特征，根據(jù)指標(biāo)值來(lái)對(duì)特征排序，去掉達(dá)不到足夠分?jǐn)?shù)的特征。這類方法只考慮特征和目標(biāo)之間的關(guān)聯(lián)厨相，相對(duì)另兩類特征選擇方法Wrapper和Embedded計(jì)算開(kāi)銷最少。指標(biāo)的選擇對(duì)Filter方法至關(guān)重要余寥，下面我們就看幾種被大家通常使用的指標(biāo)领铐。
統(tǒng)計(jì)的視角：
相關(guān)系數(shù)(Correlation)悯森。統(tǒng)計(jì)課本里都講過(guò)的皮爾森相關(guān)系數(shù)是最常用的方法宋舷。需要注意的是當(dāng)樣本數(shù)很少或者特征的取值范圍更廣時(shí)，更容易得出絕對(duì)值更大的皮爾森系數(shù)瓢姻，所以樣本量不同或者取值范圍不同的特征的之間相關(guān)系數(shù)不一定可以做比較祝蝠。另外皮爾森相關(guān)系數(shù)只能衡量線性相關(guān)性，隨機(jī)變量和不相關(guān)并不意味二者獨(dú)立幻碱。當(dāng)相關(guān)系數(shù)為0時(shí)我們知道的是線性分類器不能單利用這個(gè)特征的目前的形態(tài)做到將不同的類分開(kāi)绎狭，但通過(guò)特征本身的變換、和其它特征組合使用或者與其它特征結(jié)合出新的特征卻可能讓它煥發(fā)出生機(jī)發(fā)揮出價(jià)值褥傍。
假設(shè)檢驗(yàn)(Hypothesis Testing)儡嘶。將特征和目標(biāo)之間獨(dú)立作為H0假設(shè)，選擇檢驗(yàn)方法計(jì)算統(tǒng)計(jì)量恍风，然后根據(jù)統(tǒng)計(jì)量確定值做出統(tǒng)計(jì)推斷蹦狂。
信息論的視角：
互信息(Mutual Information)：，函數(shù)表示信息（負(fù)熵）朋贬，函數(shù) 表示概率凯楔。
信息增益(Information Gain)：。
最小描述長(zhǎng)度(Minimum Description Length)锦募。
Wrapper
Wrapper方法和Filter不同摆屯，它不單看特征和目標(biāo)直接的關(guān)聯(lián)性，而是從添加這個(gè)特征后模型最終的表現(xiàn)來(lái)評(píng)估特征的好壞糠亩。Wrapper方法需要選定一種評(píng)估模型效果的指標(biāo)虐骑，如Area Under the Curve (AUC)、Mean Absolute Error (MAE)赎线、Mean Squared Error(MSE)廷没。假設(shè)我們有個(gè)特征，除去空集外這個(gè)特征可以組成個(gè)集合氛驮，最暴力的方法是分別用個(gè)特征集合訓(xùn)練得到模型做評(píng)估腕柜，最后選擇模型效果最好的集合。顯而易見(jiàn)當(dāng)很大時(shí)窮舉法計(jì)算開(kāi)銷驚人。所以前向特征選擇(Forward Feature Selection)和后向特征選擇(Backward Feature Selection)這樣的貪心策略更為大家平常所用盏缤。前向特征選擇從空集開(kāi)始砰蠢，每次在現(xiàn)有特征集合的基礎(chǔ)上添加一個(gè)讓模型效果最好的特征。相反唉铜，后向特征選擇一開(kāi)始包括所有的候選特征台舱，每次去掉一個(gè)讓模型指標(biāo)提升最多的特征。
離線評(píng)估結(jié)果是重要的參考指標(biāo)潭流，但在實(shí)際應(yīng)用中竞惋，往往最終還是通過(guò)線上A/B Test實(shí)驗(yàn)來(lái)判斷一個(gè)特征的效果。在實(shí)際應(yīng)用中離線評(píng)估不錯(cuò)的特征在線上表現(xiàn)不一定就好灰嫉，線上線下評(píng)估的一致性和影響因素是另一個(gè)可以值得研究的問(wèn)題拆宛。
Embedded
Filter方法和Wrapper方法都是和分類算法本身的實(shí)現(xiàn)無(wú)關(guān)，可以與各種算法結(jié)合使用讼撒。而Embedded特征選擇方法與算法本身緊密結(jié)合浑厚，在模型訓(xùn)練過(guò)程中完成特征的選擇。例如：決策樹(shù)算法每次都優(yōu)先選擇分類能力最強(qiáng)的特征根盒；邏輯回歸算法的優(yōu)化目標(biāo)函數(shù)在log likelihood的基礎(chǔ)上加上對(duì)權(quán)重的L1或者L2等罰項(xiàng)后也會(huì)讓信號(hào)弱的特征權(quán)重很小甚至為0钳幅。
一些優(yōu)化算法天然就適合在每步判斷一個(gè)維度特征的好壞，所以可以在學(xué)習(xí)器在設(shè)計(jì)時(shí)就同時(shí)融合了特征選擇功能炎滞，在訓(xùn)練過(guò)程中自動(dòng)嘗試構(gòu)造特征和選擇特征敢艰。
小結(jié)
Filter、Wrapper册赛、Embedded三種方法各有不同钠导，但沒(méi)有孰好孰壞之分，在我們的實(shí)際工作中會(huì)結(jié)合使用击奶。Filter作為簡(jiǎn)單快速的特征檢驗(yàn)方法辈双，可以指導(dǎo)特征的預(yù)處理和特征的初選。Embedded特征選擇是我們學(xué)習(xí)器本身所具備的能力柜砾。通過(guò)Wrapper來(lái)離線和在線評(píng)估是否增加一個(gè)特征湃望。
