十二、邏輯回歸

作者：Chris Albon

譯者：飛龍

協(xié)議：CC BY-NC-SA 4.0

C 超參數(shù)快速調(diào)優(yōu)

有時卒稳，學習算法的特征使我們能夠比蠻力或隨機模型搜索方法更快地搜索最佳超參數(shù)猾愿。

scikit-learn 的LogisticRegressionCV方法包含一個參數(shù)C鹦聪。 如果提供了一個列表，C是可供選擇的候選超參數(shù)值蒂秘。 如果提供了一個整數(shù)泽本，C的這么多個候選值，將從 0.0001 和 10000 之間的對數(shù)標度（C的合理值范圍）中提取姻僧。

# 加載庫
from sklearn import linear_model, datasets

# 加載數(shù)據(jù)
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 創(chuàng)建邏輯回歸的交叉驗證
clf = linear_model.LogisticRegressionCV(Cs=100)

# 訓(xùn)練模型
clf.fit(X, y)

'''
LogisticRegressionCV(Cs=100, class_weight=None, cv=None, dual=False,
           fit_intercept=True, intercept_scaling=1.0, max_iter=100,
           multi_class='ovr', n_jobs=1, penalty='l2', random_state=None,
           refit=True, scoring=None, solver='lbfgs', tol=0.0001, verbose=0) 
'''

在邏輯回歸中處理不平衡類別

像 scikit-learn 中的許多其他學習算法一樣规丽，LogisticRegression帶有處理不平衡類的內(nèi)置方法。 如果我們有高度不平衡的類撇贺，并且在預(yù)處理期間沒有解決它赌莺，我們可以選擇使用class_weight參數(shù)來對類加權(quán)，確保我們擁有每個類的平衡組合松嘶。 具體來說艘狭，balanced參數(shù)會自動對類加權(quán)，與其頻率成反比：

其中 是類 的權(quán)重翠订， 是觀察數(shù)巢音， 是類 中的觀察數(shù)， 是類的總數(shù)尽超。

# 加載庫
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.preprocessing import StandardScaler
import numpy as np

# 加載數(shù)據(jù)
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 通過移除前 40 個觀測官撼，使類高度不均衡
X = X[40:,:]
y = y[40:]

# 創(chuàng)建目標向量，如果表示類別是否為 0
y = np.where((y == 0), 0, 1)

# 標準化特征
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 創(chuàng)建決策樹分類器對象
clf = LogisticRegression(random_state=0, class_weight='balanced')

# 訓(xùn)練模型
model = clf.fit(X_std, y)

邏輯回歸

盡管其名稱中存在“回歸”橙弱，但邏輯回歸實際上是廣泛使用的二分類器（即歧寺，目標向量只有兩個值）燥狰。 在邏輯回歸中，線性模型（例如 ）包含在 logit（也稱為 sigmoid）函數(shù)中斜筐，龙致，滿足：

其中 是第 個觀測的目標值 為 1 的概率， 是訓(xùn)練數(shù)據(jù)顷链， 和 是要學習的參數(shù)目代， 是自然常數(shù)。

# 加載庫
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.preprocessing import StandardScaler

# 加載只有兩個類別的數(shù)據(jù)
iris = datasets.load_iris()
X = iris.data[:100,:]
y = iris.target[:100]

# 標準化特征
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 創(chuàng)建邏輯回歸對象
clf = LogisticRegression(random_state=0)

# 訓(xùn)練模型
model = clf.fit(X_std, y)

# 創(chuàng)建新的觀測
new_observation = [[.5, .5, .5, .5]]

# 預(yù)測類別
model.predict(new_observation)

# array([1]) 

# 查看預(yù)測的概率
model.predict_proba(new_observation)

# array([[ 0.18823041,  0.81176959]]) 

大量數(shù)據(jù)上的邏輯回歸

scikit-learn 的LogisticRegression提供了許多用于訓(xùn)練邏輯回歸的技術(shù)嗤练，稱為求解器榛了。 大多數(shù)情況下，scikit-learn 會自動為我們選擇最佳求解器煞抬，或警告我們霜大，你不能用求解器做一些事情。 但是革答，我們應(yīng)該注意一個特殊情況战坤。

雖然精確的解釋超出了本書的范圍，但隨機平均梯度下降使得我們在數(shù)據(jù)非常大時残拐，比其他求解器更快訓(xùn)練模型途茫。 但是，對特征尺度也非常敏感溪食，標準化我們的特征尤為重要囊卜。 我們可以通過設(shè)置solver ='sag'來設(shè)置我們的學習算法來使用這個求解器。

# 加載庫
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.preprocessing import StandardScaler

# 加載數(shù)據(jù)
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 標準化特征
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 創(chuàng)建使用 SAG 求解器的邏輯回歸
clf = LogisticRegression(random_state=0, solver='sag')

# 訓(xùn)練模型
model = clf.fit(X_std, y)

帶有 L1 正則化的邏輯回歸

L1 正則化（也稱為最小絕對誤差）是數(shù)據(jù)科學中的強大工具错沃。 有許多教程解釋 L1 正則化栅组，我不會在這里嘗試這樣做。 相反枢析，本教程將展示正則化參數(shù)C對系數(shù)和模型精度的影響笑窜。

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

本教程中使用的數(shù)據(jù)集是著名的鳶尾花數(shù)據(jù)集。鳶尾花數(shù)據(jù)包含來自三種鳶尾花y登疗，和四個特征變量X的 50 個樣本嫌蚤。

數(shù)據(jù)集包含三個類別（三種鳶尾），但是為了簡單起見脱吱，如果目標數(shù)據(jù)是二元的，則更容易箱蝠。因此垦垂，我們將從數(shù)據(jù)中刪除最后一種鳶尾。

# 加載鳶尾花數(shù)據(jù)集
iris = datasets.load_iris()

# 從特征中創(chuàng)建 X
X = iris.data

# 從目標中創(chuàng)建 y
y = iris.target

# 重新生成變量劫拗，保留所有標簽不是 2 的數(shù)據(jù)
X = X[y != 2]
y = y[y != 2]

# 查看特征
X[0:5]

'''
array([[ 5.1,  3.5,  1.4,  0.2],
       [ 4.9,  3\. ,  1.4,  0.2],
       [ 4.7,  3.2,  1.3,  0.2],
       [ 4.6,  3.1,  1.5,  0.2],
       [ 5\. ,  3.6,  1.4,  0.2]]) 
'''

# 查看目標數(shù)據(jù)
y

'''
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1]) 
'''

# 將數(shù)據(jù)拆分為測試和訓(xùn)練集
# 將 30% 的樣本放入測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

因為正則化懲罰由系數(shù)的絕對值之和組成，所以我們需要縮放數(shù)據(jù)页慷，使系數(shù)都基于相同的比例。

# 創(chuàng)建縮放器對象
sc = StandardScaler()

# 將縮放器擬合訓(xùn)練數(shù)據(jù)酒繁，并轉(zhuǎn)換
X_train_std = sc.fit_transform(X_train)

# 將縮放器應(yīng)用于測試數(shù)據(jù)
X_test_std = sc.transform(X_test)

L1 的用處在于它可以將特征系數(shù)逼近 0，從而創(chuàng)建一種特征選擇方法控妻。 在下面的代碼中州袒，我們運行帶有 L1 懲罰的邏輯回歸四次，每次都減少了C的值弓候。 我們應(yīng)該期望隨著C的減少郎哭，更多的系數(shù)變?yōu)?0。

C = [10, 1, .1, .001]

for c in C:
    clf = LogisticRegression(penalty='l1', C=c)
    clf.fit(X_train, y_train)
    print('C:', c)
    print('Coefficient of each feature:', clf.coef_)
    print('Training accuracy:', clf.score(X_train, y_train))
    print('Test accuracy:', clf.score(X_test, y_test))
    print('')

'''
C: 10
Coefficient of each feature: [[-0.0855264  -3.75409972  4.40427765  0\.        ]]
Training accuracy: 1.0
Test accuracy: 1.0

C: 1
Coefficient of each feature: [[ 0\.         -2.28800472  2.5766469   0\.        ]]
Training accuracy: 1.0
Test accuracy: 1.0

C: 0.1
Coefficient of each feature: [[ 0\.         -0.82310456  0.97171847  0\.        ]]
Training accuracy: 1.0
Test accuracy: 1.0

C: 0.001
Coefficient of each feature: [[ 0\.  0\.  0\.  0.]]
Training accuracy: 0.5
Test accuracy: 0.5 
'''

注意弓叛，當C減小時彰居，模型系數(shù)變小（例如撰筷，從C = 10時的4.36276075變?yōu)?code>C = 0.1時的0.0.97175097）陈惰，直到C = 0.001，所有系數(shù)都是零毕籽。 這是變得更加突出的抬闯，正則化懲罰的效果。

OVR 邏輯回歸

邏輯回歸本身只是二分類器关筒，這意味著它們無法處理具有兩個類別以上的目標向量溶握。 但是，邏輯回歸有一些聰明的擴展來實現(xiàn)它蒸播。 在 One-VS-Rest（OVR）邏輯回歸中睡榆，針對每個類別訓(xùn)練單獨的模型，預(yù)測觀測是否是該類（因此使其成為二分類問題）袍榆。 它假定每個分類問題（例如是不是類 0）是獨立的胀屿。

# 加載庫
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.preprocessing import StandardScaler

# 加載數(shù)據(jù)
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 標準化特征
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 創(chuàng)建 OVR 邏輯回歸對象
clf = LogisticRegression(random_state=0, multi_class='ovr')

# 訓(xùn)練模型
model = clf.fit(X_std, y)

# 創(chuàng)建新的觀測
new_observation = [[.5, .5, .5, .5]]

# 預(yù)測類別
model.predict(new_observation)

# array([2]) 

# 查看預(yù)測概率
model.predict_proba(new_observation)

# array([[ 0.0829087 ,  0.29697265,  0.62011865]])