介紹
在本練習中，您將使用一些特征選擇算法來改進模型添忘。有些方法需要一些時間才能運行采呐，因此您將編寫函數(shù)并驗證它們是否適用于小樣本。
要開始搁骑，只需運行以下單元格巫糙。運行大約需要一分鐘眠蚂。
基準分數(shù)
讓我們看看到目前為止我們所有功能的基線得分。
1）哪些數(shù)據(jù)用于特征選擇？
由于許多特征選擇方法需要從數(shù)據(jù)集中計算統(tǒng)計信息烟勋，因此您是否應將所有數(shù)據(jù)用于特征選擇餐塘？
確定答案后因篇，運行以下行羹奉。
解決方案：在功能選擇中包含驗證和測試數(shù)據(jù)是泄漏的根源。您只想在訓練集中執(zhí)行特征選擇煤辨，然后使用那里的結果從驗證和測試集中刪除特征裳涛。
現(xiàn)在，我們有91個用于預測的功能众辨。使用所有這些功能端三，模型很有可能會過度擬合數(shù)據(jù)。我們也許可以通過刪除某些功能來減少過度擬合的情況鹃彻。當然郊闯，模型的性能可能會降低。但是至少我們會在不損失很多性能的情況下使模型更小，更快团赁。
2）單變量特征選擇
在下面育拨，將SelectKBest與f_classif評分功能一起使用，以從數(shù)據(jù)的91個特征中選擇40個特征欢摄。
提示：使用f_classif作為評分函數(shù)熬丧，使用SelectKBest創(chuàng)建選擇器。 .fit_transform方法將返回保留了最佳功能的數(shù)組怀挠。但是析蝴，它不會保留列名，因此您需要將其取回绿淋。最簡單的方法是使用selector.inverse_transform（X_new）返回具有與原始特征相同形狀但將刪除的列清零的數(shù)組闷畸。由此，您可以構建一個具有與原始功能相同的索引和列的DataFrame吞滞。在這里佑菩，您可以通過找到所有方差為零的列來查找被刪除列的名稱。
3）K的最佳值
通過這種方法裁赠，我們可以選擇最佳的K特征倘待，但我們仍然必須自己選擇K。您如何找到K的“最佳”值组贺？也就是說，您希望它很小祖娘，以便保留最佳功能失尖，但又不能太小，以至于降低了模型的性能渐苏。
確定答案后掀潮，運行以下行。
解決方案：要找到最佳的K值琼富，可以將K的值增加來擬合多個模型仪吧，然后選擇驗證分數(shù)高于某個閾值或其他條件的最小K。做到這一點的一種好方法是對K值進行循環(huán)并記錄每次迭代的驗證分數(shù)鞠眉。
4）使用L1正則化進行特征選擇
現(xiàn)在嘗試使用L1正則化的更強大方法薯鼠。實現(xiàn)一個函數(shù)select_features_l1，該函數(shù)返回要保留的功能列表械蹋。
使用具有L1罰分的LogisticRegression分類器模型來選擇要素出皇。對于模型，將隨機狀態(tài)設置為7哗戈，將正則化參數(shù)設置為0.1郊艘。擬合模型，然后使用SelectFromModel返回具有選定特征的模型。
檢查代碼將對數(shù)據(jù)集中的樣本運行您的函數(shù)纱注，以提供更多即時反饋畏浆。
提示：首先擬合邏輯回歸模型，然后將其傳遞給SelectFromModel狞贱。那應該為您提供具有選定特征的模型刻获，您可以使用X_new = model.transform（X）獲得選定特征。但是斥滤，這遺漏了列標簽将鸵，因此您需要將其取回。最簡單的方法是使用model.inverse_transform（X_new）取回原始X數(shù)組佑颇，并將刪除的列全為零顶掉。然后，您可以使用索引和X列創(chuàng)建一個新的DataFrame挑胸。從那里痒筒，保留不全為零的列。
5）使用樹進行特征選擇
由于我們使用的是基于樹的模型茬贵，因此使用另一個基于樹的模型進行特征選擇可能會產生更好的結果簿透。使用樹分類器選擇要素有什么不同？
確定答案后解藻，運行以下行老充。
解決方案：您可以使用RandomForestClassifier或ExtraTreesClassifier之類的功能來查找功能的重要性。 SelectFromModel可以使用功能重要性來查找最佳功能螟左。
6）具有L1正則化的前K個功能
在這里啡浊，您設置了正則化參數(shù)C = 0.1，這導致某些功能被刪除胶背。但是巷嚣，通過設置C，您將無法選擇要保留的特定數(shù)量的功能钳吟。您將如何使用L1正則化來保持最重要的K個重要功能廷粒？
確定答案后，運行以下行红且。
＃檢查您的答案（運行此代碼單元即可獲得積分０泳ァ）
q_6.solution（）
解決方案：要選擇具有L1正則化功能的特定數(shù)量的特征，您需要找到保留所需特征數(shù)量的正則化參數(shù)暇番。為此景东，您可以從低到高遍歷具有不同正則化參數(shù)的模型，然后選擇保留K個特征的模型奔誓。注意斤吐，對于scikit學習模型搔涝，C是正則化強度的倒數(shù)。
