建模調(diào)參總結(jié)及實戰(zhàn)項目（3）

根據(jù)天池項目建模調(diào)參總結(jié)而出
機器學(xué)習(xí)算法的基礎(chǔ)知識詳見：

1.線性回歸模型

將訓(xùn)練集分為train_X特征變量,train_y結(jié)果變量

train_X = train[continuous_feature_names]
train_y = train['price']

用sklearn進(jìn)行線性模型訓(xùn)練

from sklearn.linear_model import LinearRegression
model = LinearRegression(normalize=True)
model = model.fit(train_X, train_y)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)

將train_y與模型預(yù)測出的值進(jìn)行散點分布對比

plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')#真實y值
plt.scatter(x=train_X['v_9'][subsample_index],y=model.predict(train_X.loc[subsample_index]),color='blue')#訓(xùn)練后的y值

image.png

可見真實值和訓(xùn)練值相差較大，因此模型存在問題拍鲤。
price是長尾分布澄干，因為模型多數(shù)假設(shè)為正態(tài)分布，可以試著將其轉(zhuǎn)換成正態(tài)分布

train_y_ln = np.log((train_y)+1)
sns.distplot(train_y_ln)

將train_y與新的模型預(yù)測值進(jìn)行散點圖分布對比

model = model.fit(train_X,train_y_ln)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)
plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')
plt.scatter(x=train_X['v_9'][subsample_index],y=np.exp(model.predict(train_X.loc[subsample_index])),color='blue')

image.png

再次進(jìn)行可視化跷跪，發(fā)現(xiàn)預(yù)測結(jié)果與真實值較為接近馋嗜，且未出現(xiàn)異常狀況

2.交叉驗證

在進(jìn)行訓(xùn)練時，通常會分為三組吵瞻，訓(xùn)練集葛菇、驗證集、測試集橡羞。測試集不參加訓(xùn)練熟呛，只測試訓(xùn)練結(jié)果。訓(xùn)練集和驗證集是從訓(xùn)練數(shù)據(jù)中取出尉姨，為了使驗證結(jié)果更加有效庵朝，使用交叉驗證。K折交叉驗證就是將訓(xùn)練數(shù)據(jù)分為K層又厉，其中每一層有一次機會作為驗證集九府，其他作為訓(xùn)練集，循環(huán)K次覆致，返回評分?jǐn)?shù)組侄旬，求該數(shù)組的均值。

cross_val_score(estimator-訓(xùn)練對象如model, X, y=None, scoring=None調(diào)用方法, cv=None-K折, n_jobs=1, verbose=0, fit_params=None, pre_dispatch=‘2*n_jobs’)

因為對價格標(biāo)簽做了對數(shù)變化煌妈，想對比變換前和變換后的得分儡羔，這時因為兩者的數(shù)值區(qū)間不同宣羊，因此需要對未做變換的y和yhat預(yù)測進(jìn)行l(wèi)og轉(zhuǎn)換到同一個數(shù)值區(qū)間中，在進(jìn)行比較汰蜘。因此需要對MSE進(jìn)行自定義log方法仇冯。

log變換前MSE得分(error:1.36)

from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_absolute_error,make_scorer#構(gòu)造評估函數(shù)
def log_transfer(func):
    def wrapper(y,yhat):
        result = func(np.log(y),np.nan_to_num(np.log(yhat)))
        return result
    return wrapper
scores = cross_val_score(model,X=train_X,y=train_y,cv=5,scoring=make_scorer(log_transfer(mean_absolute_error))) 
print('AVG:', np.mean(scores))
個人理解：make_scorer構(gòu)造評估函數(shù)，cross_val_score傳兩個值給scoring參數(shù)族操，一個是y苛坚，一個是根據(jù)model后的y即yhat。
log_transfer的目的是對MSE方法進(jìn)行改造色难，改成y和yhat均為log后的泼舱。

log變換后MSE得分(error:0.19)

scores = cross_val_score(model,X=train_X,y=train_y_ln,cv=5,scoring=make_scorer(mean_absolute_error))
print('AVG:', np.mean(scores))

可以看出變換后效果還是有很大提升。

注意：考慮到事實上我們并不能通過2018年數(shù)據(jù)預(yù)測2017數(shù)據(jù)枷莉，因此可以采用時間順序?qū)?shù)據(jù)進(jìn)行分隔娇昙，這里采用的是靠前時間的4/5樣本當(dāng)作訓(xùn)練集，靠后時間的1/5當(dāng)作驗證集笤妙。

split_point = len(sample_feature) // 5 * 4#分成4/5份
model = model.fit(train_X, train_y_ln)
mean_absolute_error(val_y_ln, model.predict(val_X))
#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓(xùn)練模型得出的y)

#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓(xùn)練模型得出的y)

3. 繪制學(xué)習(xí)曲線

學(xué)習(xí)曲線：一種用來判斷訓(xùn)練模型的一種方法涯贞，通過觀察繪制出來的學(xué)習(xí)曲線圖，我們可以比較直觀的了解到我們的模型處于一個什么樣的狀態(tài)危喉，如：過擬合（overfitting）或欠擬合（underfitting）

image.png

（1）觀察左上圖宋渔，訓(xùn)練集準(zhǔn)確率與驗證集準(zhǔn)確率收斂，但是兩者收斂后的準(zhǔn)確率遠(yuǎn)小于我們的期望準(zhǔn)確率（上面那條紅線）辜限，所以由圖可得該模型屬于欠擬合（underfitting）問題皇拣。由于欠擬合，所以我們需要增加模型的復(fù)雜度薄嫡，比如氧急，增加特征、增加樹的深度毫深、減小正則項等等吩坝，此時再增加數(shù)據(jù)量是不起作用的。

（2）觀察右上圖哑蔫，訓(xùn)練集準(zhǔn)確率高于期望值钉寝，驗證集則低于期望值，兩者之間有很大的間距闸迷，誤差很大嵌纲，對于新的數(shù)據(jù)集模型適應(yīng)性較差，所以由圖可得該模型屬于過擬合（overfitting）問題腥沽。由于過擬合逮走，所以我們降低模型的復(fù)雜度，比如減小樹的深度今阳、增大分裂節(jié)點樣本數(shù)师溅、增大樣本數(shù)茅信、減少特征數(shù)等等。

（3）一個比較理想的學(xué)習(xí)曲線圖應(yīng)當(dāng)是：低偏差墓臭、低方差蘸鲸，即收斂且誤差小。
未完待續(xù)起便？？窖维？榆综？？稍后補充

4.多模型對比

嵌入特征選擇直接在訓(xùn)練時進(jìn)行特征篩選铸史，嵌入式選擇最常用的是L1正則化與L2正則化鼻疮。在對線性回歸模型加入兩種正則化方法后，他們分別變成了嶺回歸與Lasso回歸琳轿。簡單來說判沟，正則化的目的就是為了減少過擬合現(xiàn)象。

from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
models = [LinearRegression(),
          Ridge(),
          Lasso()]
result = dict()
for model in models:
    model_name = str(model).split('(')[0]
    scores = cross_val_score(model, X=train_X, y=train_y_ln, verbose=0, cv = 5, scoring=make_scorer(mean_absolute_error))
    result[model_name] = scores
    print(model_name + ' is finished')
result = pd.DataFrame(result)
result.index = ['cv' + str(x) for x in range(1, 6)]
result

參考：
https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593auEGaCE&postId=95460源代碼

數(shù)據(jù)建模崭篡、調(diào)參挪哄、模型融合需要大量基礎(chǔ)知識點，因此需要時間整理琉闪，所以本項目停更一段時間~感謝迹炼！