- 從最早接觸機(jī)器學(xué)習(xí)到現(xiàn)在已經(jīng)2年了淹魄，中間做過(guò)別的事情，也并沒(méi)有很系統(tǒng)地學(xué)習(xí)過(guò)，因此本文用于記錄一些我對(duì)機(jī)器學(xué)習(xí)的新認(rèn)識(shí)艳馒，或者糾正之前認(rèn)識(shí)的誤區(qū)
- 我用sklearn做機(jī)器學(xué)習(xí)，所以本文主要是記錄我對(duì)sklearn的新認(rèn)識(shí)员寇，或糾正誤區(qū)
關(guān)于超參和參數(shù)
- 這是兩個(gè)不同的概念
- 參數(shù)：模型從訓(xùn)練集中自動(dòng)習(xí)得的參數(shù)弄慰，例如y=kx+b中的k、b蝶锋，是從訓(xùn)練集數(shù)據(jù)中擬合得的參數(shù)陆爽。
- 超參：自己設(shè)定的參數(shù)，如隨機(jī)森林中扳缕，樹(shù)設(shè)置幾棵慌闭、樹(shù)的深度、樹(shù)的特征數(shù)等第献。
- 我們所說(shuō)的調(diào)參贡必、尋找最優(yōu)參數(shù)，指的都是超參庸毫。
關(guān)于驗(yàn)證集
- 驗(yàn)證集的作用是用于調(diào)超參仔拟。
- 在神經(jīng)網(wǎng)絡(luò)模型里，用驗(yàn)證集調(diào)參時(shí)飒赃，驗(yàn)證集的數(shù)據(jù)也被學(xué)習(xí)利花，所以當(dāng)使用該驗(yàn)證集調(diào)參的次數(shù)多了之后，模型可能也會(huì)在驗(yàn)證集上過(guò)擬合载佳。
- 但在傳統(tǒng)機(jī)器學(xué)習(xí)模型上（SVM/KNN/NB/RF/GBDT/LR/....）炒事，驗(yàn)證集充當(dāng)“測(cè)試集”的作用，讓模型在未被見(jiàn)過(guò)的數(shù)據(jù)上測(cè)試一下表現(xiàn)蔫慧，人們通過(guò)觀察其表現(xiàn)（如準(zhǔn)確率）從而調(diào)整模型的超參挠乳。與神經(jīng)網(wǎng)絡(luò)模型不同的是，在這過(guò)程中姑躲，驗(yàn)證集的數(shù)據(jù)并沒(méi)有被學(xué)習(xí)睡扬，只是用于“測(cè)試”。
關(guān)于random_state
- random_state設(shè)置為具體數(shù)字可以使得結(jié)果可重復(fù)
- 在所有有random_state設(shè)置的函數(shù)底下都需要設(shè)置黍析！
- 之前看到有書(shū)說(shuō)可以在代碼開(kāi)頭設(shè)置np.random.seed(32)卖怜，能保證結(jié)果可重復(fù)，我試了阐枣，發(fā)現(xiàn)并不能保證每次得到相同結(jié)果马靠，還是手動(dòng)設(shè)置好每一個(gè)random_state靠譜奄抽！
StratifiedKFold的使用
- StratifiedKFold是將數(shù)據(jù)集的正負(fù)樣本按比例分配為n份(default=5)
- 需要注意的是：返回的是n對(duì)已經(jīng)結(jié)合好的訓(xùn)練集和測(cè)試集的index
而不是一對(duì)
也不是n份需要被手動(dòng)結(jié)合的數(shù)據(jù)集 - 但需要做的是從這些index里索引到訓(xùn)練集和測(cè)試集
from sklearn.model_selection import StratifiedKFold
skf=StratifiedKFold(n_splits=10, shuffle=True, random_state=32)
for train_index,test_index in skf.split(X,y):
train_index=list(train_index)
test_index=list(test_index)
X_train, X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
參考：https://towardsdatascience.com/how-to-train-test-split-kfold-vs-stratifiedkfold-281767b93869
Pipeline和make_pipeline的區(qū)別
- Pipeline需要自定義step的名字，make_pipeline不需要
- 當(dāng)需要結(jié)合GridSearchCV尋找最優(yōu)參數(shù)的時(shí)候使用可以自定義step名字的Pipeline
因?yàn)檫@樣才可以根據(jù)名字給模型輸入?yún)?shù)范圍 - 參考：https://stackoverflow.com/questions/40708077/what-is-the-difference-between-pipeline-and-make-pipeline-in-scikit
cross_val_score的理解
- cross_val_score是用于大致估計(jì)模型的水平甩鳄，估計(jì)模型在沒(méi)見(jiàn)過(guò)的數(shù)據(jù)上表現(xiàn)如何
- 并不能訓(xùn)練模型逞度！
- cross_val_score用完之后，想用clf.score(X_test,y_test)查看模型表現(xiàn)娩贷，會(huì)返回告訴一個(gè)NotFittedError:clf沒(méi)有fit過(guò)
- 參考：https://stackoverflow.com/questions/42075986/scikitlearn-score-dataset-after-cross-validation
- 除了cross_val_score以外這些也是沒(méi)fit的：
learning_curve
cross_val_score的使用
- 本發(fā)現(xiàn)重要
- 以前往往習(xí)慣將其參數(shù)cv設(shè)置為具體數(shù)值第晰，如cv=5表示做5倍交叉驗(yàn)證
現(xiàn)在發(fā)現(xiàn)這么做存在問(wèn)題：無(wú)法確定這5個(gè)數(shù)據(jù)集是怎么劃分的
有可能他并不是按比例取正負(fù)樣本的，也有可能沒(méi)有做shuffle - 正確做法：用StratifiedKFold劃分好后傳入?yún)?shù)cv中
from sklearn.model_selection import cross_val_score, StratifiedKFold
skf=StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
scores=cross_val_score(estimator=pipe,X=X,y=y,cv=skf)
- 用StratifiedKFold保證我先將數(shù)據(jù)集打亂彬祖，并且保證劃分的5個(gè)數(shù)據(jù)集里正負(fù)樣本所占的比例是一致的
StandardScaler
- 使用standardscaler之后數(shù)據(jù)類(lèi)型從pandas的dataframe變成了np的array茁瘦，怎么辦？
- 參考：https://stackoverflow.com/questions/35723472/how-to-use-sklearn-fit-transform-with-pandas-and-return-dataframe-instead-of-num
from sklearn.preprocessing import StandardScaler
df=pd.read_csv('example.csv')
scaled_features = StandardScaler().fit_transform(df.values)
scaled_features_df = pd.DataFrame(scaled_features, index=df.index, columns=df.columns)
GridSearchCV
- GridSearchCV默認(rèn)做5倍交叉驗(yàn)證
