LightGBM baseline

LightGBM是一種使用基于樹的學(xué)習(xí)算法的梯度提升框架声诸。相比XGBoost速度更快酱讶,結(jié)果也相近。
使用交叉驗證彼乌,以f1為評價方法的baseline:

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
from sklearn.externals import joblib
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import f1_score
import lightgbm as lgb
import warnings
warnings.filterwarnings('ignore')


pd.set_option('display.max_columns', 500, 'display.width', 1000)  # 設(shè)置顯示寬度
# data_train = pd.read_csv("train/train.csv")
data_train = pd.read_csv("train_3.csv")     # 訓(xùn)練集
data_test = pd.read_csv("test_3.csv")   # 測試集
# 對current_service映射編碼泻肯,對要分類的label不是從0開始的一般操作
label2current_service = dict(zip(range(0, len(set(data_train['current_service']))),
                                 sorted(list(set(data_train['current_service'])))))
current_service2label = dict(zip(sorted(list(set(data_train['current_service']))),
                                 range(0, len(set(data_train['current_service'])))))
data_train['current_service'] = data_train['current_service'].map(current_service2label)
# print(len(set(data_train['current_service'])))      # 15種類型
y = data_train.pop('current_service')
user_id = data_train.pop('user_id')
x_train = data_train
test_user_id = data_test.pop('user_id')
x_test = data_test
print(x_train.info())
X, y, X_test = x_train.values, y.values, x_test.values  # 轉(zhuǎn)為np.array類型
n_splits = 5    # 分為5折
seed = 2333     # 隨機(jī)種子
# lgb 參數(shù)
lgb_params = {
    "learning_rate": 0.05,
    "lambda_l1": 0.1,
    "lambda_l2": 0.2,
    "max_depth": 7,
    "num_leaves": 120,
    "objective": "multiclass",
    "num_class": 15,
    "verbose": -1,
    'feature_fraction': 0.8,
    "min_split_gain": 0.1,
    "boosting_type": "gbdt",
    "subsample": 0.8,
    "min_data_in_leaf": 50,
    "colsample_bytree": 0.7,
    "colsample_bylevel": 0.7,
    "tree_method": 'exact'
}


# 采取k折模型方案
# 自定義F1評價函數(shù)
def f1_score_vail(pred, data_vail):
    labels = data_vail.get_label()
    pred = np.argmax(pred.reshape(15, -1), axis=0)      # lgb的predict輸出為各類型概率值
    score_vail = f1_score(y_true=labels, y_pred=pred, average='macro')
    return 'f1_score', score_vail, True


x_score = []    # 交叉驗證各折的f1值
cv_pred = []    # 各折的預(yù)測值
skf = StratifiedKFold(n_splits=n_splits, random_state=seed, shuffle=True)
# 交叉驗證
for index, (train_index, test_index) in enumerate(skf.split(X, y)):
    print(index)
    X_train, X_valid, y_train, y_valid = X[train_index], X[test_index], y[train_index], y[test_index]
    train_data = lgb.Dataset(X_train, label=y_train)    # 訓(xùn)練數(shù)據(jù)
    validation_data = lgb.Dataset(X_valid, label=y_valid)   # 驗證數(shù)據(jù)
    clf = lgb.train(lgb_params, train_data, num_boost_round=150000, valid_sets=[validation_data],
                    early_stopping_rounds=100, feval=f1_score_vail, verbose_eval=1)     # 訓(xùn)練
    # clf = joblib.load("model/lgb_{}.m".format(index))     # 保存模型
    # joblib.dump(clf, "model/lgb_{}.m".format(index))      # 加載模型
    x_pred = clf.predict(X_valid, num_iteration=clf.best_iteration)
    x_pred = [np.argmax(x) for x in x_pred]
    x_score.append(f1_score(y_valid, x_pred, average='macro'))  # 計算f1值
    y_test = clf.predict(X_test, num_iteration=clf.best_iteration)  # 預(yù)測
    y_test = [np.argmax(x) for x in y_test]
    if index == 0:
        cv_pred = np.array(y_test).reshape(-1, 1)
    else:
        cv_pred = np.hstack((cv_pred, np.array(y_test).reshape(-1, 1)))
    if index == 4:
        lgb.plot_importance(clf, figsize=(50, 50))  # 畫出重要特征
        plt.title("Feature_importance")
        plt.show()
# 投票
submit = []
for line in cv_pred:
    submit.append(np.argmax(np.bincount(line)))
# 保存結(jié)果
df_test = pd.DataFrame()
df_test['id'] = list(test_user_id.unique())
df_test['predict'] = submit
df_test['predict'] = df_test['predict'].map(label2current_service)
df_test.to_csv('output/lgb4.csv', index=False)
print(x_score, np.mean(x_score))



最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市慰照,隨后出現(xiàn)的幾起案子灶挟,更是在濱河造成了極大的恐慌,老刑警劉巖焚挠,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件膏萧,死亡現(xiàn)場離奇詭異漓骚,居然都是意外死亡蝌衔,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進(jìn)店門蝌蹂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來噩斟,“玉大人,你說我怎么就攤上這事孤个√暝剩” “怎么了?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵齐鲤,是天一觀的道長斥废。 經(jīng)常有香客問我,道長给郊,這世上最難降的妖魔是什么牡肉? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮淆九,結(jié)果婚禮上统锤,老公的妹妹穿的比我還像新娘毛俏。我一直安慰自己,他們只是感情好饲窿,可當(dāng)我...
    茶點故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布煌寇。 她就那樣靜靜地躺著,像睡著了一般逾雄。 火紅的嫁衣襯著肌膚如雪阀溶。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天鸦泳,我揣著相機(jī)與錄音淌哟,去河邊找鬼。 笑死辽故,一個胖子當(dāng)著我的面吹牛徒仓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼颠猴!你這毒婦竟也來了黔夭?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤犁柜,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體乎芳,經(jīng)...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年帖池,在試婚紗的時候發(fā)現(xiàn)自己被綠了奈惑。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,650評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡睡汹,死狀恐怖肴甸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情囚巴,我是刑警寧澤原在,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站彤叉,受9級特大地震影響庶柿,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜秽浇,卻給世界環(huán)境...
    茶點故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一浮庐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧兼呵,春花似錦兔辅、人聲如沸腊敲。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽碰辅。三九已至,卻和暖如春介时,著一層夾襖步出監(jiān)牢的瞬間没宾,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工沸柔, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留循衰,地道東北人。 一個月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓褐澎,卻偏偏與公主長得像会钝,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子工三,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內(nèi)容