1.導入機器學習常用的包
# 從sklearn 調(diào)入所需要的包
from sklearn import datasets
from sklearn.model_selection import train_test_split #數(shù)據(jù)分隔出訓練集和驗證集
import xgboost as xgb
import numpy as np
import pandas as pd
#導入精度和召回
from sklearn.metrics import precision_score, recall_score
對數(shù)據(jù)進行類型轉換以及切分
iris = datasets.load_iris()
data = iris.data
label = iris.target
print(pd.DataFrame(data).head())
print(pd.DataFrame(label).head())
data1 = pd.DataFrame(data)
## 花萼長寬花瓣長寬
data1.columns = ['sepal_l','sepal_w','petal_l','petal_w']
print(data1.head())
label1 =pd.DataFrame(label)
label1.columns=['label']
print(label1.head())
#注意這里data label順序是一致的，千萬別打亂
# 劃分訓練集和測試集
train_x, test_x, train_y, test_y = train_test_split(data1.values, label1.values, test_size=0.3, random_state=42)
print("訓練集長度:", len(train_x))
print("測試集長度:", len(test_x))
2.xgboost 的兩種形式的使用方法
- 原生態(tài)的使用方法
# 轉換為DMatrix數(shù)據(jù)格式
# dtrain = xgb.DMatrix(train_x, label=train_y)
test_data = xgb.DMatrix(test_x, label=test_y)
# 設置參數(shù)
###multi：softmax是使用softmax后產(chǎn)生的分類結果，而multi:softprob是輸出的概率矩陣仑氛。
xgb_params = {
'eta': 0.3, #學習率
'silent': True, # 輸出運行訊息
'objective': 'multi:softprob', # 使用多分類生成概率矩陣格式'multi:softmax',multi:softprob
'num_class': 3, # 共有幾個類別
'max_depth': 3 # 深度
}
num_round = 20 # 跑的步數(shù)
# 模型訓練
model = xgb.train(xgb_params,xgb.DMatrix(train_x, label=train_y), num_round)
# 模型預測
test_pre = model.predict(test_data)
print(test_pre[:5])
# 選擇表示最高概率的列
test_pre_1 = np.asarray([np.argmax(row) for row in test_pre])
print("test的預測結果:",test_pre_1)
# 模型評估
print('驗證集精準率：',precision_score(test_y, test_pre_1, average='macro'))
print('驗證集召回率：',recall_score(test_y, test_pre_1, average='macro'))
這種方法需要將數(shù)據(jù)轉化為DMatrix這種xgb專有的數(shù)據(jù)類型,其中的train_x等期贫，為DataFrame的數(shù)據(jù)類型
- 簡化后的調(diào)用方法
from xgboost import XGBClassifier
model = XGBClassifier(
learning_rate=0.01,#學習率
n_estimators=3000,#步長
max_depth=4,#深度
objective='binary:logistic',#此處表明是二分類
seed=27
)
model.fit(train_x,train_y)
# 預測
#輸出預測結果
test_pre2 = model.predict(test_x)
print(test_pre2)
# 模型評估
print('驗證集精準率：',precision_score(test_y, test_pre2, average='macro'))
print('驗證集召回率：',recall_score(test_y, test_pre2, average='macro'))
3.lightgbm的兩種形式的調(diào)用方法
- 原生態(tài)的調(diào)用方法
# 轉換為DMatrix數(shù)據(jù)格式
train_data = lgb.Dataset(train_x,train_y)
test_data = lgb.Dataset(test_x,test_y)
# 設置參數(shù)
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'multiclass',
'metric': 'multi_error',
'verbose': 1 , # <0 顯示致命的, =0 顯示錯誤 (警告), >0 顯示信息
'num_class':3 #lightgbm.basic.LightGBMError: b'Number of classes should be specified and greater than 1 for multiclass training'
}
# 模型訓練
clf = lgb.train(lgb_params,train_data,num_boost_round =10,
valid_sets = [train_data,test_data], #驗證集
verbose_eval = 10)
# 模型預測
test_pre = clf.predict(test_x, num_iteration=clf.best_iteration)
# print(test_pre)
print(test_pre[:5])
# 選擇表示最高概率的列
test_pre_1 = np.asarray([np.argmax(row) for row in test_pre])
print("test的預測結果:",test_pre_1)
# 模型評估
print('驗證集精準率：',precision_score(test_y, test_pre_1, average='macro'))
print('驗證集召回率：',recall_score(test_y, test_pre_1, average='macro'))
- 簡化后的調(diào)用方法
import lightgbm as lgb
#from lightgbm import LGBMClassifier 再進行調(diào)用可以得到相同的效果
lgb_params = {
'learning_rate':0.1,
'max_bin':150,
'num_leaves':32,
'max_depth':11,
'objective':'multiclass',
'n_estimators':300
}
model=lgb.LGBMClassifier(**lgb_params)
model.fit(train_x,train_y)
# 預測
#輸出預測結果
test_pre2 = model.predict(test_x)
print(test_pre2)
# 模型評估
print('驗證集精準率：',precision_score(test_y, test_pre2, average='macro'))
print('驗證集召回率：',recall_score(test_y, test_pre2, average='macro'))
總結：
- lgb.train中正則化參數(shù)為"lambda_l1", "lambda_l1"辖所，sklearn中則為'reg_alpha', 'reg_lambda'。
- 多分類時lgb.train除了'objective':'multiclass',還要指定"num_class":5，而sklearn接口只需要指定'objective':'multiclass'。
- 迭代次數(shù)在sklearn中是'n_estimators':20跳座，在初始化模型時指定
