創(chuàng)造新的特征是一件十分困難的事情蛇耀，需要豐富的專業(yè)知識和大量的時(shí)間块茁。機(jī)器學(xué)習(xí)應(yīng)用的本質(zhì)基本上就是特征工程癣蟋。
——Andrew Ng

業(yè)內(nèi)常說數(shù)據(jù)決定了模型效果上限剥险，而機(jī)器學(xué)習(xí)算法是通過數(shù)據(jù)特征做出預(yù)測的聪蘸，好的特征可以顯著地提升模型效果。這意味著通過特征生成（即從數(shù)據(jù)設(shè)計(jì)加工出模型可用特征）表制，是特征工程相當(dāng)關(guān)鍵的一步健爬。
本文從特征生成作用、特征生成的方法（人工設(shè)計(jì)么介、自動化特征生成）展開闡述并附上代碼娜遵。

1 特征生成的作用

特征生成是特征提取中的重要一步，作用在于：

• 增加特征的表達(dá)能力壤短，提升模型效果设拟；(如體重除以身高就是表達(dá)健康情況的重要特征，而單純看身高或體重對健康情況表達(dá)就有限久脯。)
• 可以融入業(yè)務(wù)上的理解設(shè)計(jì)特征纳胧，增加模型的可解釋性；

2 數(shù)據(jù)情況分析

本文示例的數(shù)據(jù)集是客戶的資金變動情況帘撰，如下數(shù)據(jù)字典：

cust_no：客戶編號跑慕；I1 :性別；I2：年齡 摧找；E1：開戶日期核行；  
B6 ：近期轉(zhuǎn)賬日期；C1 (后綴_fir表示上個(gè)月)：存款蹬耘；C2：存款產(chǎn)品數(shù)芝雪； 
X1：理財(cái)存款； X2：結(jié)構(gòu)性存款综苔；  label：資金情況上升下降情況惩系。

這里安利一個(gè)超實(shí)用Python庫，可以一鍵數(shù)據(jù)分析（數(shù)據(jù)概況休里、缺失、相關(guān)性赃承、異常值等等）妙黍，方便結(jié)合數(shù)據(jù)分析報(bào)告做特征生成。

# 一鍵數(shù)據(jù)分析
import pandas_profiling

pandas_profiling.ProfileReport(df)

3 特征生成的方法

特征生成方法可以分為兩類：聚合方式瞧剖、轉(zhuǎn)換方式拭嫁。

3.1 聚合方式

聚合方式是指對存在一對多的字段可免，將其對應(yīng)多條記錄分組聚合后統(tǒng)計(jì)平均值、計(jì)數(shù)做粤、最大值等數(shù)據(jù)特征浇借。
如以上述數(shù)據(jù)集，同一cust_no對應(yīng)多條記錄怕品，通過對cust_no(客戶編號)做分組聚合妇垢，統(tǒng)計(jì)C1字段個(gè)數(shù)、唯一數(shù)肉康、平均值闯估、中位數(shù)、標(biāo)準(zhǔn)差吼和、總和涨薪、最大、最小值炫乓，最終得到按每個(gè)cust_no統(tǒng)計(jì)的C1平均值刚夺、最大值等特征。

# 以cust_no做聚合末捣，C1字段統(tǒng)計(jì)個(gè)數(shù)侠姑、唯一數(shù)、平均值塔粒、中位數(shù)结借、標(biāo)準(zhǔn)差、總和卒茬、最大船老、最小值
df.groupby('cust_no').C1.agg(['count','nunique','mean','median','std','sum','max','min'])

此外還可以pandas自定義聚合函數(shù)生成特征，比如加工聚合元素的平方和：

# 自定義分組聚合統(tǒng)計(jì)函數(shù)
def x2_sum(group):
    return sum(group**2)

df.groupby('cust_no').C1.apply(x2_sum)    

3.2 轉(zhuǎn)換方式

轉(zhuǎn)換方式是指對字段間做加減乘除等運(yùn)算生成數(shù)據(jù)特征的過程圃酵，對不同字段類型有不同轉(zhuǎn)換方式柳畔。

3.2.1 數(shù)值類型

• 加減乘除
  多個(gè)字段做運(yùn)算生成新的特征，這通常需要結(jié)合業(yè)務(wù)層面的理解以及數(shù)據(jù)分布的情況郭赐，以生成較優(yōu)的特征集薪韩。

  
  

import numpy as np

# 前后兩個(gè)月資金和
df['C1+C1_fir'] = df['C1']+df['C1_fir']
# 前后兩個(gè)月資金差異
df['C1-C1_fir'] = df['C1']-df['C1_fir']
# 產(chǎn)品數(shù)*資金
df['C1*C2'] = df['C1']*df['C2']
# 前后兩個(gè)月資金變化率
df['C1/C1_fir'] = df['C1']/df['C1_fir']  - 1
df.head()

• 多個(gè)列統(tǒng)計(jì)
  直接用聚合函數(shù)統(tǒng)計(jì)多列的方差、均值等

  
  

import numpy as np

df['C1_sum'] = np.sum(df[['C1_fir','C1']], axis = 1)
df['C1_var'] = np.var(df[['C1_fir','C1']], axis = 1)
df['C1_max'] = np.max(df[['C1_fir','C1']], axis = 1)
df['C1_min'] = np.min(df[['C1_fir','C1']], axis = 1)
df['C1-C1_fir_abs'] = np.abs(df['C1-C1_fir'])
df.head()

• 排名編碼特征
  按特征值對全體樣本進(jìn)行排序捌锭，以排序序號作為特征值俘陷。這種特征對異常點(diǎn)不敏感，也不容易導(dǎo)致特征值沖突观谦。

# 排序特征

df['C1_rank'] = df['C1'].rank(ascending=0, method='dense')
df.head()

3.2.2 字符類型

• 截取
  當(dāng)字符類型的值過多拉盾，通常可對字符類型變量做截取豁状，以減少模型過擬合捉偏。如具體的家庭住址倒得，可以截取字符串到城市級的粒度。

• 字符長度
  統(tǒng)計(jì)字符串長度夭禽。如轉(zhuǎn)賬場景中霞掺，轉(zhuǎn)賬留言的字?jǐn)?shù)某些程度可以刻畫這筆轉(zhuǎn)賬的類型。

• 頻次
  通過統(tǒng)計(jì)字符出現(xiàn)頻次讹躯。如欺詐場景中地址出現(xiàn)次數(shù)越多菩彬，越有可能是團(tuán)伙欺詐。

# 字符特征
# 由于沒有合適的例子蜀撑，這邊只是用代碼實(shí)現(xiàn)邏輯挤巡，加工的字段并無含義。

#截取第一位字符串
df['I1_0'] = df['I1'].map(lambda x:str(x)[:1])
# 字符長度
df['I1_len'] = df['I1'].apply(lambda x:len(str(x)))

display(df.head())
# 字符串頻次
df['I1'].value_counts()

3.2.3 日期類型

常用的有計(jì)算日期間隔酷麦、周幾矿卑、幾點(diǎn)等等。

# 日期類型
df['E1_B6_interval'] = (df.E1.astype('datetime64[ns]') - df.B6.astype('datetime64[ns]')).map(lambda x:x.days)
df['E1_is_month_end'] = pd.to_datetime(df.E1).map(lambda x :x.is_month_end)
df['E1_dayofweek'] = df.E1.astype('datetime64[ns]').dt.dayofweek
df['B6_hour'] = df.B6.astype('datetime64[ns]').dt.hour
df.head()

4 自動化特征生成

傳統(tǒng)的特征工程方法通過人工構(gòu)建特征沃饶，這是一個(gè)繁瑣母廷、耗時(shí)且容易出錯的過程。自動化特征工程是通過Fearturetools等工具糊肤，從一組相關(guān)數(shù)據(jù)表中自動生成有用的特征的過程琴昆。對比人工生成特征會更為高效，可重復(fù)性更高馆揉，能夠更快地構(gòu)建模型业舍。

4.1 FeatureTools上手

Featuretools是一個(gè)用于執(zhí)行自動化特征工程的開源庫，它有基本的3個(gè)概念：
1）Feature Primitives(特征基元)：生成特征的常用方法升酣，分為聚合(agg_primitives)舷暮、轉(zhuǎn)換(trans_primitives)的方式∝眩可通過如下代碼列出featuretools的特征加工方法及簡介下面。

import featuretools as ft

ft.list_primitives()

2）Entity(實(shí)體) 可以被看作類似Pandas DataFrame, 多個(gè)實(shí)體的集合稱為Entityset。實(shí)體間可以根據(jù)關(guān)聯(lián)鍵添加關(guān)聯(lián)關(guān)系Relationship绩聘。

# df1為原始的特征數(shù)據(jù)
df1 = df.drop('label',axis=1)

# df2為客戶清單(cust_no唯一值)
df2 = df[['cust_no']].drop_duplicates()
df2.head()

# 定義數(shù)據(jù)集
es = ft.EntitySet(id='dfs')

# 增加一個(gè)df1數(shù)據(jù)框?qū)嶓w
es.entity_from_dataframe(entity_id='df1',         
             dataframe=df1,
             index='id',
             make_index=True)

# 增加一個(gè)df2數(shù)據(jù)實(shí)體
es.entity_from_dataframe(entity_id='df2',         
             dataframe=df2,
             index='cust_no')


# 添加實(shí)體間關(guān)系：通過 cust_no鍵關(guān)聯(lián) df_1 和 df 2實(shí)體
relation1 = ft.Relationship(es['df2']['cust_no'], es['df1']['cust_no'])
es = es.add_relationship(relation1)

3）dfs(深度特征合成) ： 是從多個(gè)數(shù)據(jù)集創(chuàng)建新特征的過程沥割，可以通過設(shè)置搜索的最大深度(max_depth)來控制所特征生成的復(fù)雜性

## 運(yùn)行DFS特征衍生
features_matrix,feature_names = ft.dfs(entityset=es,
                                       target_entity='df2',
                                       relationships = [relation1],
                                       trans_primitives=['divide_numeric','multiply_numeric','subtract_numeric'],
                                       agg_primitives=['sum'],
                                       max_depth=2,n_jobs=1,verbose=-1)

4.2 FeatureTools問題點(diǎn)

4.2.1 內(nèi)存溢出問題
Fearturetools是通過工程層面暴力生成所有特征的過程，當(dāng)數(shù)據(jù)量大的時(shí)候凿菩，容易造成內(nèi)存溢出机杜。解決這個(gè)問題除了升級服務(wù)器內(nèi)存衅谷，減少njobs椒拗，還有一個(gè)常用的是通過只選擇重要的特征進(jìn)行暴力衍生特征。

4.2.2 特征維度爆炸
當(dāng)原始特征數(shù)量多会喝，或max_depth陡叠、特征基元的種類設(shè)定較大，F(xiàn)earturetools生成的特征數(shù)量巨大肢执，容易維度爆炸枉阵。這是就需要考慮到特征選擇、特征降維预茄，常用的特征選擇方法可以參考上一篇文章: Python特征選擇

注：本文源碼鏈接：【Github】兴溜。