最近讀了一篇GBDT+LR實現(xiàn)推薦系統(tǒng)的文章停蕉，準備實踐一下鸿吆，但是所有講這種方式的文章都沒有放數(shù)據(jù)集隧膘，所以我從頭開始整理了一遍思路代态，并且找了Kaggle上一個比賽的數(shù)據(jù)集進行實現(xiàn)。
1 背景
CTR預估是工業(yè)界十分常見的一個問題疹吃，Click Through Rate指的是推送給某個顧客的商品是否會被點擊蹦疑，推送給顧客會最大概率被點擊的商品無疑會提高盈利能力。
在CTR預估問題的發(fā)展初期萨驶，使用最多的方法就是邏輯回歸(LR)歉摧，LR使用了Sigmoid變換將函數(shù)值映射到0~1區(qū)間，映射后的函數(shù)值就是CTR的預估值腔呜。
LR屬于線性模型叁温，容易并行化，可以輕松處理上億條數(shù)據(jù)核畴，但是學習能力十分有限膝但，需要大量的特征工程來增加模型的學習能力。但大量的特征工程耗時耗力同時并不一定會帶來效果提升谤草。因此跟束，如何自動發(fā)現(xiàn)有效的特征、特征組合丑孩，彌補人工經(jīng)驗不足冀宴，縮短LR特征實驗周期，是亟需解決的問題温学。
Facebook 2014年的文章介紹了通過GBDT解決LR的特征組合問題花鹅，隨后Kaggle競賽也有實踐此思路，GBDT與LR融合開始引起了業(yè)界關(guān)注枫浙。
在介紹這個模型之前，我們先來介紹兩個問題：
1）為什么要使用集成的決策樹模型古拴，而不是單棵的決策樹模型：一棵樹的表達能力很弱箩帚，不足以表達多個有區(qū)分性的特征組合，多棵樹的表達能力更強一些黄痪〗襞粒可以更好的發(fā)現(xiàn)有效的特征和特征組合
2）為什么建樹采用GBDT而非RF：RF也是多棵樹，但從效果上有實踐證明不如GBDT。且GBDT前面的樹是嗜，特征分裂主要體現(xiàn)對多數(shù)樣本有區(qū)分度的特征愈案；后面的樹，主要體現(xiàn)的是經(jīng)過前N顆樹鹅搪，殘差仍然較大的少數(shù)樣本站绪。優(yōu)先選用在整體上有區(qū)分度的特征，再選用針對少數(shù)樣本有區(qū)分度的特征丽柿，思路更加合理恢准，這應該也是用GBDT的原因。
2 GBDT + LR
這兩種方法的融合主要流程如下圖所示
對于輸入的樣本甫题，他的特征是向量 x 馁筐，用GBDT的方法構(gòu)造兩顆樹，第 1 棵樹有3個葉子節(jié)點坠非，第二棵樹有兩個葉子節(jié)點敏沉。
假設(shè)x 進入第1棵樹落入3個葉子節(jié)點中的第1個葉子，進入第2棵樹落入2個葉子節(jié)點的第2個葉子炎码，在這里我們構(gòu)造新的特征盟迟。第1棵樹有3個葉子，構(gòu)造一個向量U1=[0, 0 ,0]辅肾，樣本x落到第1個葉子队萤，把向量U1的第一個位置變?yōu)?，其余位置仍然是0矫钓，即U1=[1, 0, 0]要尔。第2棵樹有2個葉子，構(gòu)造向量U2=[0, 0]新娜，樣本x落到第2個葉子赵辕，把第二個位置的值變?yōu)?，即U2=[1, 0]概龄。接下來把 U1 和 U2 串聯(lián)起來變?yōu)?[1, 0, 0, 1, 0]还惠。這樣就得到了轉(zhuǎn)化后的特征向量。
接下來就是將轉(zhuǎn)化后的特征向量用LR訓練私杜。
3 實踐
在這里用的是 lightgbm 這個包蚕键，安裝也很方便，打開conda命令行衰粹，conda install lightgbm锣光。
所有要導入的包如下
import lightgbm as lgb
import numpy as np
import pandas as pd
from sklearn import preprocessing
from sklearn.linear_model import LogisticRegression
3.1 數(shù)據(jù)集
這里用到的數(shù)據(jù)集是kaggle:avazu-ctr-prediction，訓練集下載下來大概有1.2GB铝耻，解壓后6GB誊爹，因為電腦內(nèi)存不夠后面訓練的過程中出現(xiàn)MemoryError，所以我切分了1w條數(shù)據(jù)，下載鏈接小數(shù)據(jù)集提取碼：6gr9 實現(xiàn)時選擇前8k作為訓練集频丘，后2k為測試集办成。
數(shù)據(jù)集字段：
id: ad identifier
click: 0/1 for non-click/click
hour: format is YYMMDDHH, so 14091123 means 23:00 on Sept. 11, 2014 UTC.
C1 -- anonymized categorical variable
banner_pos
site_id
site_domain
site_category
app_id
app_domain
app_category
device_id
device_ip
device_model
device_type
device_conn_type
C14-C21 -- anonymized categorical variables
因為本文只是做一個demo，所以不進行特征工程搂漠，只選擇部分屬性
cols = ['C1', 'banner_pos', 'site_domain', .....'app_id', 'C14','C15', 'C16']
- 讀取數(shù)據(jù)集
df_train = pd.read_csv(r"D:\Kaggle_CTR\train.csv")
cols = ['C1','banner_pos', 'site_domain', 'site_id', 'site_category','app_id', 'app_category', 'device_type', 'device_conn_type', 'C14', 'C15','C16']
cols_all = ['id']
cols_all.extend(cols)
#print(df_train.head(10))
y = df['click']
y_train = y.iloc[:-2000] # training label
y_test = y.iloc[-2000:] # testing label
X = df[cols_all[1:]] # training dataset
- pandas讀取的‘site_id'等是object對象迂卢，需要將其轉(zhuǎn)化為字符串，進而用LabelEncoder轉(zhuǎn)化為類別状答。
# label encode
lbl = preprocessing.LabelEncoder()
X['site_domain'] = lbl.fit_transform(X['site_domain'].astype(str))#將提示的包含錯誤數(shù)據(jù)類型這一列進行轉(zhuǎn)換
X['site_id'] = lbl.fit_transform(X['site_id'].astype(str))
X['site_category'] = lbl.fit_transform(X['site_category'].astype(str))
X['app_id'] = lbl.fit_transform(X['app_id'].astype(str))
X['app_category'] = lbl.fit_transform(X['app_category'].astype(str))
X_train = X.iloc[:-2000]
X_test = X.iloc[-2000:] # testing dataset
3.2 訓練LGB
使用lgb時要先將數(shù)據(jù)集轉(zhuǎn)化為lgb的數(shù)據(jù)集冷守，指定好參數(shù)后再進行訓練。
# create dataset for lightgbm
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)
params = {
'task': 'train',
'boosting_type': 'gbdt',
'objective': 'binary',
'metric': {'binary_logloss'},
'num_leaves': 64,
'num_trees': 100,
'learning_rate': 0.01,
'feature_fraction': 0.9,
'bagging_fraction': 0.8,
'bagging_freq': 5,
'verbose': 0
}
# number of leaves,will be used in feature transformation
num_leaf = 64
print('Start training...')
# train
gbm = lgb.train(params,
lgb_train,
num_boost_round=100,
valid_sets=lgb_train)
訓練100輪的結(jié)果是[100] training's binary_logloss: 0.408675惊科。
3.3 用lgb轉(zhuǎn)化特征向量
- 用訓練好的lgb模型預測訓練集拍摇，觀察其落在哪些葉子節(jié)點上。
y_pred_train = gbm.predict(X_train, pred_leaf=True)
觀察y_pred_train的形狀
In[181]: y_pred_train.shape
Out[181]: (8000, 100)
共有8000個樣本馆截，100棵樹（在上面的參數(shù)中 num_trees=100),觀察第 1 個樣本y_pred_train[0]的前10個值：
In[182]: y_pred_train[0][:10]
Out[182]: array([31, 29, 29, 32, 38, 46, 35, 36, 36, 42])
其中 第一個數(shù) 31 表示這個樣本落到了第一顆樹的 31 葉子節(jié)點充活，29 表示落到了第二棵樹的 29 葉子節(jié)點，注意31 蜡娶、29表示節(jié)點編號混卵，從0開始到63。
- 將葉子節(jié)點編號轉(zhuǎn)化為OneHot編碼
# train data
transformed_training_matrix = np.zeros([len(y_pred_train), len(y_pred_train[0]) * num_leaf],dtype=np.int64) # N * num_tress * num_leafs
for i in range(0, len(y_pred_train)):
temp = np.arange(len(y_pred_train[0])) * num_leaf + np.array(y_pred_train[i])
transformed_training_matrix[i][temp] += 1
# test data
transformed_testing_matrix = np.zeros([len(y_pred_test), len(y_pred_test[0]) * num_leaf], dtype=np.int64)
for i in range(0, len(y_pred_test)):
temp = np.arange(len(y_pred_test[0])) * num_leaf + np.array(y_pred_test[i])
transformed_testing_matrix[i][temp] += 1
3.4 LR
lm = LogisticRegression(penalty='l2',C=0.05)
lm.fit(transformed_training_matrix,y_train)
y_pred_lr_test = lm.predict_proba(transformed_testing_matrix)
3.5 結(jié)果評估
在Kaggle指明的評價指標是NE(Normalized Cross-Entropy)
NE = (-1) / len(y_pred_lr_test) * sum(((1+y_test)/2 * np.log(y_pred_lr_test[:,1]) + (1-y_test)/2 * np.log(1 - y_pred_lr_test[:,1])))
print("Normalized Cross Entropy " + str(NE))
在我這里計算出來的的NE結(jié)果是1.27958508822窖张，這其實是一個很差的結(jié)果幕随，在比賽上想取得好成績最重要的就是特征工程，即組合原始特征宿接、計算新特征等工作赘淮，特征工程決定算法結(jié)果的上界。
4 總結(jié)
GBDT+LR只是對歷史的記憶睦霎，并不是真正適合現(xiàn)在的大多數(shù)業(yè)務(wù)數(shù)據(jù)梢卸，現(xiàn)在的業(yè)務(wù)數(shù)據(jù)是大量離散特征導致的高維度離散數(shù)據(jù)。而樹模型對這樣的離散特征副女，是不能很好處理的蛤高，因為這容易導致過擬合。
代碼下載：鏈接 提取碼：1nh2
寫作本文是為了整理GBDT+LR的思路和工程實現(xiàn)碑幅，主要工作都是來自 石曉文的學習日記戴陡，在他的博客里有很多推薦系統(tǒng)不同實現(xiàn)方式的文章。
參考資料：推薦系統(tǒng)遇上深度學習(十)--GBDT+LR融合方案實戰(zhàn)
