一、特征工程簡介

• 簡單說辨泳，特征工程是能夠?qū)?shù)據(jù)像藝術(shù)一樣展現(xiàn)的技術(shù)虱岂。因為好的特征工程很好的混合了專業(yè)領(lǐng)域知識、直覺和基本的數(shù)學(xué)能力菠红；

• 本質(zhì)上說第岖，呈現(xiàn)給算法的數(shù)據(jù)應(yīng)該能擁有基本數(shù)據(jù)的相關(guān)結(jié)構(gòu)或?qū)傩?。當(dāng)你做特征工程時试溯，其實是將數(shù)據(jù)屬性轉(zhuǎn)換為數(shù)據(jù)特征的過程蔑滓，屬性代表了數(shù)據(jù)的所有維度，在數(shù)據(jù)建模時遇绞，如果對原始數(shù)據(jù)的所有屬性進行學(xué)習(xí)适贸，并不能很好的找到數(shù)據(jù)的潛在趨勢祝拯，而通過特征工程對你的數(shù)據(jù)進行預(yù)處理的話，你的算法模型能夠減少受到噪聲的干擾，這樣能夠更好的找出趨勢批狱；

• 事實上，好的特征甚至能夠幫你實現(xiàn)使用簡單的模型達到很好的效果蜜氨；

• 但是郑象，對于特征工程中引用的新特征，需要驗證它的確提高了預(yù)測的準(zhǔn)確度倘屹，而不是加入了一個無用的特征银亲，不然只會增加算法運算的復(fù)雜度。

二纽匙、常用方法

1务蝠、時間戳處理

時間戳通常需要分離成多個維度比如年、月烛缔、日馏段、小時轩拨、分鐘、秒鐘院喜。但在很多的應(yīng)用中亡蓉，大量的信息是不需要的，因此我們在呈現(xiàn)時間的時候喷舀，試著保證你所提供的所有數(shù)據(jù)是你的模型所需要的砍濒，并且別忘了時區(qū)，加入你的數(shù)據(jù)源來自不同的地理數(shù)據(jù)源硫麻，別忘了利用時區(qū)將數(shù)據(jù)標(biāo)準(zhǔn)化爸邢。

2、離散型變量處理

舉一個簡單的例子拿愧，由{紅杠河，黃，藍}組成的離散型變量浇辜，最常用的方式是吧每個變量值轉(zhuǎn)換成二元屬性券敌，即從{0，1}取一個值柳洋，也就是常說的獨熱編碼(one-hot code)待诅。

3、分箱/分區(qū)

有時候膳灶，將連續(xù)型變量轉(zhuǎn)換成類別呈現(xiàn)更有意義咱士，同時能夠使算法減少噪聲的干擾，通過將一定范圍內(nèi)的數(shù)值劃分成確定的塊轧钓。舉個例子序厉，我們要預(yù)測具有哪些特征的人會購買我們網(wǎng)店的商品，用戶的年齡是一個連續(xù)的變量毕箍，我們可以將年齡分為15以下弛房、15-24、25-34而柑、35-44文捶、45及以上。而且媒咳，不是將這些類別分成2個點粹排，你可以使用標(biāo)量值，因為相近的年齡表現(xiàn)出相似的屬性涩澡。

只有了解變量的領(lǐng)域知識的基礎(chǔ)顽耳，確定屬性能夠劃分成簡潔的范圍時分區(qū)才有意義，即所有的數(shù)值落入一個分區(qū)時能夠呈現(xiàn)出共同的特征。在實際的運用中射富，當(dāng)你不想讓你的模型總是嘗試區(qū)分值之間是否太近時膝迎，分區(qū)能夠避免出現(xiàn)過擬合。例如胰耗，如果你感興趣的是將一個城市作為總體限次，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響柴灯，通過將一個給定值劃入到最近的塊中卖漫。如果劃分范圍的數(shù)量和所有可能值相近，或?qū)δ銇碚f準(zhǔn)確率很重要的話弛槐，此時分箱就不合適了懊亡。

4依啰、交叉特征

交叉特征算是特征工程中非常重要的方法之一乎串，它將兩個或更多的類別屬性組合成一個。當(dāng)組合的特征要比單個特征更好時速警，這是一項非常有用的技術(shù)叹誉。數(shù)學(xué)上來說，是對類別特征的所有值進行交叉相乘闷旧。

假如擁有一個特征A,A有兩個可能值{A1长豁，A2}。擁有一個特征B忙灼，存在{B1匠襟，B2}等可能值。然后该园，A&B之間的交叉特征如下：{（A1酸舍，B1），（A1里初，B2）啃勉，（A2，B1）双妨，（A2淮阐，B2）}，并且你可以給這些組合特征取任何名字刁品。但是需要明白每個組合特征其實代表著A和B各自信息協(xié)同作用泣特。

5、特征選擇

為了得到更好的模型挑随，使用某些算法自動的選出原始特征的子集状您。這個過程，你不會構(gòu)建或修改你擁有的特征，但是會通過修建特征來達到減少噪聲和冗余竞阐。

特征選擇算法可能會用到評分方法來排名和選擇特征缴饭，比如相關(guān)性或其他確定特征重要性的方法，更進一步的方法可能需要通過試錯骆莹，來搜素出特征子集颗搂。

還有通過構(gòu)建輔助模型的方法，逐步回歸就是模型構(gòu)造過程中自動執(zhí)行特征選擇算法的一個實例幕垦，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特征選擇丢氢，通過加入額外的約束或者懲罰項加到已有模型(損失函數(shù))上，以防止過擬合并提高泛化能力先改。

6疚察、特征縮放

有時候，你可能會注意到某些特征比其他特征擁有高得多的跨度值仇奶。舉個例子貌嫡，將一個人的收入和他的年齡進行比較，更具體的例子该溯，如某些模型(像嶺回歸)要求你必須將特征值縮放到相同的范圍值內(nèi)岛抄。通過特征縮放可以避免某些特征獲得大小非常懸殊的權(quán)重值。

7狈茉、特征提取

特征提取涉及到從原始屬性中自動生成一些新的特征集的一系列算法夫椭，降維算法就屬于這一類。特征提取是一個自動將觀測值降維到一個足夠建模的小數(shù)據(jù)集的過程氯庆。

對于列表數(shù)據(jù)蹭秋，可使用的方法包括一些投影方法，像主成分分析和無監(jiān)督聚類算法堤撵。

對于圖形數(shù)據(jù)仁讨，可能包括一些直線監(jiān)測和邊緣檢測，對于不同領(lǐng)域有各自的方法粒督。

本文摘自白開水加糖的博客