使用sklearn 將 特征工程 集成到pipeline中

http://www.cnblogs.com/jasonfreak/p/5448462.html

目錄

1 使用sklearn進行數(shù)據(jù)挖掘
　　1.1 數(shù)據(jù)挖掘的步驟
　　1.2 數(shù)據(jù)初貌
　　1.3 關鍵技術
2 并行處理
　　2.1 整體并行處理
　　2.2 部分并行處理
3 流水線處理
4 自動化調參
5 持久化
6 回顧
7 總結
8 參考資料

1 使用sklearn進行數(shù)據(jù)挖掘

1.1 數(shù)據(jù)挖掘的步驟

數(shù)據(jù)挖掘通常包括數(shù)據(jù)采集劫樟，數(shù)據(jù)分析孽查，特征工程亭姥，訓練模型，模型評估等步驟。使用sklearn工具可以方便地進行特征工程和模型訓練工作握联，在《使用sklearn做單機特征工程》中笑陈，我們最后留下了一些疑問：特征處理類都有三個方法fit、transform和fit_transform工秩，fit方法居然和模型訓練方法fit同名（不光同名，參數(shù)列表都一樣）进统，這難道都是巧合助币？

顯然，這不是巧合螟碎，這正是sklearn的設計風格眉菱。我們能夠更加優(yōu)雅地使用sklearn進行特征工程和模型訓練工作。此時掉分，不妨從一個基本的數(shù)據(jù)挖掘場景入手：

image

我們使用sklearn進行虛線框內的工作（sklearn也可以進行文本特征提燃蠡骸）。通過分析sklearn源碼酥郭，我們可以看到除訓練华坦，預測和評估以外，處理其他工作的類都實現(xiàn)了3個方法：fit不从、transform和fit_transform惜姐。從命名中可以看到，fit_transform方法是先調用fit然后調用transform椿息，我們只需要關注fit方法和transform方法即可歹袁。

transform方法主要用來對特征進行轉換。從可利用信息的角度來說撵颊，轉換分為無信息轉換和有信息轉換宇攻。無信息轉換是指不利用任何其他信息進行轉換，比如指數(shù)倡勇、對數(shù)函數(shù)轉換等逞刷。有信息轉換從是否利用目標值向量又可分為無監(jiān)督轉換和有監(jiān)督轉換。無監(jiān)督轉換指只利用特征的統(tǒng)計信息的轉換妻熊，統(tǒng)計信息包括均值夸浅、標準差、邊界等等扔役，比如標準化帆喇、PCA法降維等。有監(jiān)督轉換指既利用了特征信息又利用了目標值信息的轉換亿胸，比如通過模型選擇特征坯钦、LDA法降維等预皇。通過總結常用的轉換類，我們得到下表：

| 包 | 類 | 參數(shù)列表 | 類別 | fit方法有用 | 說明 |
| sklearn.preprocessing | StandardScaler | 特征 | 無監(jiān)督 | Y | 標準化 |
| sklearn.preprocessing | MinMaxScaler | 特征 | 無監(jiān)督 | Y | 區(qū)間縮放 |
| sklearn.preprocessing | Normalizer | 特征 | 無信息 | N | 歸一化 |
| sklearn.preprocessing | Binarizer | 特征 | 無信息 | N | 定量特征二值化 |
| sklearn.preprocessing | OneHotEncoder | 特征 | 無監(jiān)督 | Y | 定性特征編碼 |
| sklearn.preprocessing | Imputer | 特征 | 無監(jiān)督 | Y | 缺失值計算 |
| sklearn.preprocessing | PolynomialFeatures | 特征 | 無信息 | N | 多項式變換（fit方法僅僅生成了多項式的表達式） |
| sklearn.preprocessing | FunctionTransformer | 特征 | 無信息 | N | 自定義函數(shù)變換（自定義函數(shù)在transform方法中調用） |
| sklearn.feature_selection | VarianceThreshold | 特征 | 無監(jiān)督 | Y | 方差選擇法 |
| sklearn.feature_selection | SelectKBest | 特征/特征+目標值 | 無監(jiān)督/有監(jiān)督 | Y | 自定義特征評分選擇法 |
| sklearn.feature_selection | SelectKBest+chi2 | 特征+目標值 | 有監(jiān)督 | Y | 卡方檢驗選擇法 |
| sklearn.feature_selection | RFE | 特征+目標值 | 有監(jiān)督 | Y | 遞歸特征消除法 |
| sklearn.feature_selection | SelectFromModel | 特征+目標值 | 有監(jiān)督 | Y | 自定義模型訓練選擇法 |
| sklearn.decomposition | PCA | 特征 | 無監(jiān)督 | Y | PCA降維 |
| sklearn.lda | LDA | 特征+目標值 | 有監(jiān)督 | Y | LDA降維 |

不難看到婉刀，只有有信息的轉換類的fit方法才實際有用吟温，顯然fit方法的主要工作是獲取特征信息和目標值信息，在這點上突颊，fit方法和模型訓練時的fit方法就能夠聯(lián)系在一起了：都是通過分析特征和目標值鲁豪，提取有價值的信息，對于轉換類來說是某些統(tǒng)計量律秃，對于模型來說可能是特征的權值系數(shù)等爬橡。另外，只有有監(jiān)督的轉換類的fit和transform方法才需要特征和目標值兩個參數(shù)棒动。fit方法無用不代表其沒實現(xiàn)糙申，而是除合法性校驗以外，其并沒有對特征和目標值進行任何處理船惨，Normalizer的fit方法實現(xiàn)如下：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre>1 def fit(self, X, y=None): 2 """Do nothing and return the estimator unchanged 3 This method is just there to implement the usual API and hence 4 work in pipelines. 5 """
6 X = check_array(X, accept_sparse='csr') 7 return self</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

基于這些特征處理工作都有共同的方法郭宝，那么試想可不可以將他們組合在一起？在本文假設的場景中掷漱，我們可以看到這些工作的組合形式有兩種：流水線式和并行式￠剩基于流水線組合的工作需要依次進行卜范，前一個工作的輸出是后一個工作的輸入；基于并行式的工作可以同時進行鹿榜，其使用同樣的輸入海雪，所有工作完成后將各自的輸出合并之后輸出。sklearn提供了包pipeline來完成流水線式和并行式的工作舱殿。

1.2 數(shù)據(jù)初貌

在此奥裸，我們仍然使用IRIS數(shù)據(jù)集來進行說明。為了適應提出的場景沪袭，對原數(shù)據(jù)集需要稍微加工：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre> 1 from numpy import hstack, vstack, array, median, nan 2 from numpy.random import choice 3 from sklearn.datasets import load_iris 4
5 #特征矩陣加工
6 #使用vstack增加一行含缺失值的樣本(nan, nan, nan, nan)
7 #使用hstack增加一列表示花的顏色（0-白湾宙、1-黃、2-紅）冈绊，花的顏色是隨機的侠鳄，意味著顏色并不影響花的分類
8 iris.data = hstack((choice([0, 1, 2], size=iris.data.shape[0]+1).reshape(-1,1), vstack((iris.data, array([nan, nan, nan, nan]).reshape(1,-1)))))
9 #目標值向量加工
10 #增加一個目標值，對應含缺失值的樣本死宣，值為眾數(shù)
11 iris.target = hstack((iris.target, array([median(iris.target)])))</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

1.3 關鍵技術

并行處理伟恶，流水線處理，自動化調參毅该，持久化是使用sklearn優(yōu)雅地進行數(shù)據(jù)挖掘的核心博秫。并行處理和流水線處理將多個特征處理工作潦牛，甚至包括模型訓練工作組合成一個工作（從代碼的角度來說，即將多個對象組合成了一個對象）挡育。在組合的前提下巴碗，自動化調參技術幫我們省去了人工調參的反鎖。訓練好的模型是貯存在內存中的數(shù)據(jù)静盅，持久化能夠將這些數(shù)據(jù)保存在文件系統(tǒng)中良价，之后使用時無需再進行訓練，直接從文件系統(tǒng)中加載即可蒿叠。

2 并行處理

并行處理使得多個特征處理工作能夠并行地進行明垢。根據(jù)對特征矩陣的讀取方式不同，可分為整體并行處理和部分并行處理市咽。整體并行處理痊银，即并行處理的每個工作的輸入都是特征矩陣的整體；部分并行處理施绎，即可定義每個工作需要輸入的特征矩陣的列溯革。

2.1 整體并行處理

pipeline包提供了FeatureUnion類來進行整體并行處理：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre> 1 from numpy import log1p 2 from sklearn.preprocessing import FunctionTransformer 3 from sklearn.preprocessing import Binarizer 4 from sklearn.pipeline import FeatureUnion 5
6 #新建將整體特征矩陣進行對數(shù)函數(shù)轉換的對象
7 step2_1 = ('ToLog', FunctionTransformer(log1p))
8 #新建將整體特征矩陣進行二值化類的對象
9 step2_2 = ('ToBinary', Binarizer()) 10 #新建整體并行處理對象
11 #該對象也有fit和transform方法，fit和transform方法均是并行地調用需要并行處理的對象的fit和transform方法
12 #參數(shù)transformer_list為需要并行處理的對象列表谷醉，該列表為二元組列表致稀，第一元為對象的名稱，第二元為對象
13 step2 = ('FeatureUnion', FeatureUnion(transformer_list=[step2_1, step2_2, step2_3]))</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

2.2 部分并行處理

整體并行處理有其缺陷俱尼，在一些場景下抖单，我們只需要對特征矩陣的某些列進行轉換，而不是所有列遇八。pipeline并沒有提供相應的類（僅OneHotEncoder類實現(xiàn)了該功能）矛绘，需要我們在FeatureUnion的基礎上進行優(yōu)化：

image

View Code

在本文提出的場景中，我們對特征矩陣的第1列（花的顏色）進行定性特征編碼刃永，對第2货矮、3、4列進行對數(shù)函數(shù)轉換斯够，對第5列進行定量特征二值化處理囚玫。使用FeatureUnionExt類進行部分并行處理的代碼如下：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre> 1 from numpy import log1p 2 from sklearn.preprocessing import OneHotEncoder 3 from sklearn.preprocessing import FunctionTransformer 4 from sklearn.preprocessing import Binarizer 5
6 #新建將部分特征矩陣進行定性特征編碼的對象
7 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
8 #新建將部分特征矩陣進行對數(shù)函數(shù)轉換的對象
9 step2_2 = ('ToLog', FunctionTransformer(log1p)) 10 #新建將部分特征矩陣進行二值化類的對象
11 step2_3 = ('ToBinary', Binarizer()) 12 #新建部分并行處理對象
13 #參數(shù)transformer_list為需要并行處理的對象列表，該列表為二元組列表雳刺，第一元為對象的名稱劫灶，第二元為對象
14 #參數(shù)idx_list為相應的需要讀取的特征矩陣的列
15 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

3 流水線處理

pipeline包提供了Pipeline類來進行流水線處理。流水線上除最后一個工作以外掖桦，其他都要執(zhí)行fit_transform方法本昏，且上一個工作輸出作為下一個工作的輸入。最后一個工作必須實現(xiàn)fit方法枪汪，輸入為上一個工作的輸出涌穆；但是不限定一定有transform方法怔昨，因為流水線的最后一個工作可能是訓練！

根據(jù)本文提出的場景宿稀，結合并行處理趁舀，構建完整的流水線的代碼如下：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre> 1 from numpy import log1p 2 from sklearn.preprocessing import Imputer 3 from sklearn.preprocessing import OneHotEncoder 4 from sklearn.preprocessing import FunctionTransformer 5 from sklearn.preprocessing import Binarizer 6 from sklearn.preprocessing import MinMaxScaler 7 from sklearn.feature_selection import SelectKBest 8 from sklearn.feature_selection import chi2 9 from sklearn.decomposition import PCA 10 from sklearn.linear_model import LogisticRegression 11 from sklearn.pipeline import Pipeline 12
13 #新建計算缺失值的對象
14 step1 = ('Imputer', Imputer()) 15 #新建將部分特征矩陣進行定性特征編碼的對象
16 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False)) 17 #新建將部分特征矩陣進行對數(shù)函數(shù)轉換的對象
18 step2_2 = ('ToLog', FunctionTransformer(log1p)) 19 #新建將部分特征矩陣進行二值化類的對象
20 step2_3 = ('ToBinary', Binarizer()) 21 #新建部分并行處理對象，返回值為每個并行工作的輸出的合并
22 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]])) 23 #新建無量綱化對象
24 step3 = ('MinMaxScaler', MinMaxScaler()) 25 #新建卡方校驗選擇特征的對象
26 step4 = ('SelectKBest', SelectKBest(chi2, k=3)) 27 #新建PCA降維的對象
28 step5 = ('PCA', PCA(n_components=2)) 29 #新建邏輯回歸的對象祝沸，其為待訓練的模型作為流水線的最后一步
30 step6 = ('LogisticRegression', LogisticRegression(penalty='l2')) 31 #新建流水線處理對象
32 #參數(shù)steps為需要流水線處理的對象列表矮烹，該列表為二元組列表，第一元為對象的名稱罩锐，第二元為對象
33 pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

4 自動化調參

網(wǎng)格搜索為自動化調參的常見技術之一奉狈，grid_search包提供了自動化調參的工具，包括GridSearchCV類涩惑。對組合好的對象進行訓練以及調參的代碼如下：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre>1 from sklearn.grid_search import GridSearchCV 2
3 #新建網(wǎng)格搜索對象
4 #第一參數(shù)為待訓練的模型
5 #param_grid為待調參數(shù)組成的網(wǎng)格仁期，字典格式，鍵為參數(shù)名稱（格式“對象名稱子對象名稱參數(shù)名稱”）竭恬，值為可取的參數(shù)值列表
6 grid_search = GridSearchCV(pipeline, param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0, 2.0, 3.0, 4.0], 'LogisticRegression__C':[0.1, 0.2, 0.4, 0.8]}) 7 #訓練以及調參
8 grid_search.fit(iris.data, iris.target)</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

5 持久化

externals.joblib包提供了dump和load方法來持久化和加載內存數(shù)據(jù)：

[
復制代碼

](javascript:void(0); "復制代碼")

<pre>1 #持久化數(shù)據(jù)
2 #第一個參數(shù)為內存中的對象
3 #第二個參數(shù)為保存在文件系統(tǒng)中的名稱
4 #第三個參數(shù)為壓縮級別跛蛋，0為不壓縮，3為合適的壓縮級別
5 dump(grid_search, 'grid_search.dmp', compress=3) 6 #從文件系統(tǒng)中加載數(shù)據(jù)到內存中
7 grid_search = load('grid_search.dmp')</pre>

[
復制代碼

](javascript:void(0); "復制代碼")

6 回顧

| 包 | 類或方法 | 說明 |
| sklearn.pipeline | Pipeline | 流水線處理 |
| sklearn.pipeline | FeatureUnion | 并行處理 |
| sklearn.grid_search | GridSearchCV | 網(wǎng)格搜索調參 |
| externals.joblib | dump | 數(shù)據(jù)持久化 |
| externals.joblib | load | 從文件系統(tǒng)中加載數(shù)據(jù)至內存 |

注意：組合和持久化都會涉及pickle技術赊级，在sklearn的技術文檔中有說明，將lambda定義的函數(shù)作為FunctionTransformer的自定義轉換函數(shù)將不能pickle化岔绸。

7 總結

2015年我設計了一個基于sklearn的自動化特征工程的工具此衅，其以Mysql數(shù)據(jù)庫作為原始數(shù)據(jù)源，提供了“靈活的”特征提取亭螟、特征處理的配置方法，同時重新封裝了數(shù)據(jù)骑歹、特征和模型预烙，以方便調度系統(tǒng)識別。說靈活道媚，其實也只是通過配置文件的方式定義每個特征的提取和處理的sql語句扁掸。但是純粹使用sql語句來進行特征處理是很勉強的，除去特征提取以外最域，我又造了一回輪子谴分，原來sklearn提供了這么優(yōu)秀的特征處理、工作組合等功能镀脂。所以牺蹄，我在這個博客中先不提任何算法和模型，先從數(shù)據(jù)挖掘工作的第一步開始薄翅，使用基于Python的各個工具把大部分步驟都走了一遍（抱歉沙兰，我暫時忽略了特征提让ツ巍），希望這樣的梳理能夠少讓初學者走彎路吧鼎天。

8 參考資料

  1. 使用sklearn做單機特征工程
  2. FunctionTransformer
  3. Github:jasonfreak/ali2015

分類: 數(shù)據(jù)挖掘

from numpy import hstack, vstack, array, median, nan
from numpy.random import choice
from sklearn.datasets import load_iris

#特征矩陣加工
#使用vstack增加一行含缺失值的樣本(nan, nan, nan, nan)
#使用hstack增加一列表示花的顏色（0-白舀奶、1-黃、2-紅）斋射，花的顏色是隨機的育勺，意味著顏色并不影響花的分類

iris.data = hstack((choice([0, 1, 2], size=iris.data.shape[0]+1).reshape(-1,1), vstack((iris.data, array([nan, nan, nan, nan]).reshape(1,-1)))))
#目標值向量加工
#增加一個目標值，對應含缺失值的樣本罗岖，值為眾數(shù)
iris.target = hstack((iris.target, array([median(iris.target)])))

from numpy import log1p
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer
from sklearn.pipeline import FeatureUnion

#新建將整體特征矩陣進行對數(shù)函數(shù)轉換的對象
step2_1 = ('ToLog', FunctionTransformer(log1p))
#新建將整體特征矩陣進行二值化類的對象
step2_2 = ('ToBinary', Binarizer())
#新建整體并行處理對象
#該對象也有fit和transform方法涧至，fit和transform方法均是并行地調用需要并行處理的對象的fit和transform方法
#參數(shù)transformer_list為需要并行處理的對象列表，該列表為二元組列表呀闻，第一元為對象的名稱化借，第二元為對象
step2 = ('FeatureUnion', FeatureUnion(transformer_list=[step2_1, step2_2, step2_3]))





from sklearn.pipeline import FeatureUnion, _fit_one_transformer, _fit_transform_one, _transform_one
from sklearn.externals.joblib import Parallel, delayed
from scipy import sparse
import numpy as np

#部分并行處理，繼承FeatureUnion
class FeatureUnionExt(FeatureUnion):
    #相比FeatureUnion捡多，多了idx_list參數(shù)蓖康，其表示每個并行工作需要讀取的特征矩陣的列
    def __init__(self, transformer_list, idx_list, n_jobs=1, transformer_weights=None):
        self.idx_list = idx_list
        FeatureUnion.__init__(self, transformer_list=map(lambda trans:(trans[0], trans[1]), transformer_list), n_jobs=n_jobs, transformer_weights=transformer_weights)

    #由于只部分讀取特征矩陣，方法fit需要重構
    def fit(self, X, y=None):
        transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
        transformers = Parallel(n_jobs=self.n_jobs)(
            #從特征矩陣中提取部分輸入fit方法
            delayed(_fit_one_transformer)(trans, X[:,idx], y)
            for name, trans, idx in transformer_idx_list)
        self._update_transformer_list(transformers)
        return self

    #由于只部分讀取特征矩陣垒手，方法fit_transform需要重構
    def fit_transform(self, X, y=None, **fit_params):
        transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
        result = Parallel(n_jobs=self.n_jobs)(
            #從特征矩陣中提取部分輸入fit_transform方法
            delayed(_fit_transform_one)(trans, name, X[:,idx], y,
                                        self.transformer_weights, **fit_params)
            for name, trans, idx in transformer_idx_list)

        Xs, transformers = zip(*result)
        self._update_transformer_list(transformers)
        if any(sparse.issparse(f) for f in Xs):
            Xs = sparse.hstack(Xs).tocsr()
        else:
            Xs = np.hstack(Xs)
        return Xs

    #由于只部分讀取特征矩陣蒜焊，方法transform需要重構
    def transform(self, X):
        transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
        Xs = Parallel(n_jobs=self.n_jobs)(
            #從特征矩陣中提取部分輸入transform方法
            delayed(_transform_one)(trans, name, X[:,idx], self.transformer_weights)
            for name, trans, idx in transformer_idx_list)
        if any(sparse.issparse(f) for f in Xs):
            Xs = sparse.hstack(Xs).tocsr()
        else:
            Xs = np.hstack(Xs)
        return Xs



from numpy import log1p
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer

#新建將部分特征矩陣進行定性特征編碼的對象
step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
#新建將部分特征矩陣進行對數(shù)函數(shù)轉換的對象
step2_2 = ('ToLog', FunctionTransformer(log1p))
#新建將部分特征矩陣進行二值化類的對象
step2_3 = ('ToBinary', Binarizer())
#新建部分并行處理對象
#參數(shù)transformer_list為需要并行處理的對象列表，該列表為二元組列表科贬，第一元為對象的名稱泳梆，第二元為對象
#參數(shù)idx_list為相應的需要讀取的特征矩陣的列
step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))






from numpy import log1p
from sklearn.preprocessing import Imputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

#新建計算缺失值的對象
step1 = ('Imputer', Imputer())
#新建將部分特征矩陣進行定性特征編碼的對象
step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
#新建將部分特征矩陣進行對數(shù)函數(shù)轉換的對象
step2_2 = ('ToLog', FunctionTransformer(log1p))
#新建將部分特征矩陣進行二值化類的對象
step2_3 = ('ToBinary', Binarizer())
#新建部分并行處理對象，返回值為每個并行工作的輸出的合并
step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))
#新建無量綱化對象
step3 = ('MinMaxScaler', MinMaxScaler())
#新建卡方校驗選擇特征的對象
step4 = ('SelectKBest', SelectKBest(chi2, k=3))
#新建PCA降維的對象
step5 = ('PCA', PCA(n_components=2))
#新建邏輯回歸的對象榜掌，其為待訓練的模型作為流水線的最后一步
step6 = ('LogisticRegression', LogisticRegression(penalty='l2'))
#新建流水線處理對象
#參數(shù)steps為需要流水線處理的對象列表优妙，該列表為二元組列表，第一元為對象的名稱憎账，第二元為對象
pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])


from sklearn.grid_search import GridSearchCV

#新建網(wǎng)格搜索對象
#第一參數(shù)為待訓練的模型
 #param_grid為待調參數(shù)組成的網(wǎng)格套硼，字典格式，鍵為參數(shù)名稱（格式“對象名稱__子對象名稱__參數(shù)名稱”）胞皱，值為可取的參數(shù)值列表
 grid_search = GridSearchCV(pipeline, param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0, 2.0, 3.0, 4.0], 'LogisticRegression__C':[0.1, 0.2, 0.4, 0.8]})
#訓練以及調參
grid_search.fit(iris.data, iris.target)


from sklearn.externals import joblib
#持久化數(shù)據(jù)
#第一個參數(shù)為內存中的對象
#第二個參數(shù)為保存在文件系統(tǒng)中的名稱
#第三個參數(shù)為壓縮級別邪意，0為不壓縮，3為合適的壓縮級別
joblib.dump(grid_search, 'grid_search.dmp', compress=3)
#從文件系統(tǒng)中加載數(shù)據(jù)到內存中
grid_search = joblib.load('grid_search.dmp')
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末反砌，一起剝皮案震驚了整個濱河市雾鬼，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌宴树，老刑警劉巖策菜，帶你破解...
    沈念sama閱讀 218,122評論 6贊 505
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異，居然都是意外死亡做入，警方通過查閱死者的電腦和手機冒晰，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來竟块，“玉大人壶运，你說我怎么就攤上這事±嗣兀” “怎么了蒋情？”我有些...
    開封第一講書人閱讀 164,491評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長耸携。 經(jīng)常有香客問我棵癣，道長，這世上最難降的妖魔是什么夺衍？ 我笑而不...
    開封第一講書人閱讀 58,636評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任狈谊，我火速辦了婚禮，結果婚禮上沟沙，老公的妹妹穿的比我還像新娘河劝。我一直安慰自己，他們只是感情好矛紫，可當我...
    茶點故事閱讀 67,676評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布赎瞎。 她就那樣靜靜地躺著，像睡著了一般颊咬。 火紅的嫁衣襯著肌膚如雪务甥。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,541評論 1贊 305
  • 城市分裂傳說
    那天喳篇，我揣著相機與錄音敞临，去河邊找鬼。 笑死麸澜，一個胖子當著我的面吹牛哟绊，可吹牛的內容都是我干的。 我是一名探鬼主播痰憎，決...
    沈念sama閱讀 40,292評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼攀涵！你這毒婦竟也來了铣耘？” 一聲冷哼從身側響起，我...
    開封第一講書人閱讀 39,211評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤以故，失蹤者是張志新（化名）和其女友劉穎蜗细，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,655評論 1贊 314
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡炉媒，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,846評論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年踪区，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吊骤。...
    茶點故事閱讀 39,965評論 1贊 348
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡缎岗，死狀恐怖，靈堂內的尸體忽然破棺而出白粉，到底是詐尸還是另有隱情传泊，我是刑警寧澤，帶...
    沈念sama閱讀 35,684評論 5贊 347
  • ?日本核電站爆炸內幕
    正文 年R本政府宣布鸭巴，位于F島的核電站眷细，受9級特大地震影響，放射性物質發(fā)生泄漏鹃祖。R本人自食惡果不足惜溪椎，卻給世界環(huán)境...
    茶點故事閱讀 41,295評論 3贊 329
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望恬口。 院中可真熱鬧校读，春花似錦、人聲如沸楷兽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評論 0贊 22
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽芯杀。三九已至端考，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間揭厚，已是汗流浹背却特。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留筛圆，地道東北人裂明。 一個月前我還...
    沈念sama閱讀 48,126評論 3贊 370
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像太援，于是被迫代替她去往敵國和親闽晦。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
    茶點故事閱讀 44,914評論 2贊 355

推薦閱讀更多精彩內容

  • 數(shù)據(jù)挖掘的步驟 數(shù)據(jù)挖掘通常包括數(shù)據(jù)采集提岔、數(shù)據(jù)分析仙蛉、特征工程、訓練模型碱蒙、模型評估等步驟荠瘪。 sklearn工作流程 ...
    羽恒閱讀 2,110評論 0贊 18
  • 看到一篇好文章分享出來夯巷，看別人是如何選特征的，作者是Edwin Jarvis 作者：Edwin Jarvis 特征...
    智能互連閱讀 5,479評論 0贊 8
  • 文章主要參考于大神城東(部分認為有問題的地方進行了修改) 1. 特征工程是什么哀墓？ 數(shù)據(jù)和特征決定了機器學習的上限趁餐，...
    jockerMe閱讀 1,718評論 0贊 11
  • 自2017年11月在喜馬拉雅偶然聽到二妹姐的女人愛養(yǎng)生的節(jié)目，一下愛上了艾灸養(yǎng)生篮绰，同時發(fā)現(xiàn)光聽不做筆記很多穴位和知...
    Jerome_wu閱讀 265評論 0贊 0
  • 我一直覺得鐘靈毓秀的地方歷來全都是出人杰的阶牍，直到我遇到蘇穎喷面。。走孽。 蘇穎這個人吧!就是跟人不一樣惧辈，跟一般人不一樣，是...
    軒絲旭閱讀 590評論 0贊 0