1枣购、模型原理

（另一臺電腦上，待補充）
　回顧下線性回歸的損失函數(shù)颠放，由于線性回歸是連續(xù)的，所以可以使用模型誤差的的平方和來定義損失函數(shù)吭敢。但是邏輯回歸不是連續(xù)的碰凶，自然線性回歸損失函數(shù)定義的經(jīng)驗就用不上了。不過我們可以用最大似然法來推導(dǎo)出我們的損失函數(shù)鹿驼。

2欲低、Python3中sklearn關(guān)于Logistic回歸的代碼實現(xiàn)

（1）概述
　　在scikit-learn中，與邏輯回歸有關(guān)的主要是這3個類畜晰。LogisticRegression砾莱， LogisticRegressionCV 和logistic_regression_path。
　　其中LogisticRegression和LogisticRegressionCV的主要區(qū)別是：
　　LogisticRegressionCV使用了交叉驗證來選擇正則化系數(shù)C凄鼻。而LogisticRegression需要自己每次指定一個正則化系數(shù)腊瑟。
　　即LogisticRegression不做交叉驗證 聚假，也就是整個輸入作為訓(xùn)練集來訓(xùn)練模型參數(shù)。而LogisticRegressionCV則會將訓(xùn)練集分成若干份闰非，每次選擇一部分訓(xùn)練集來訓(xùn)練模型膘格，一部分樣本做驗證集來測試模型優(yōu)劣，多次驗證后選擇最好的模型參數(shù)财松。
　　所以兩者肯定有差異瘪贱。一般來說，會用后面一個辆毡。不過如果你用了其他一些網(wǎng)格搜索方法(比如 GridSearchCV)菜秦，自帶交叉驗證的話，那么用第一個就可以了胚迫。
　　除了交叉驗證喷户，以及選擇正則化系數(shù)C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同访锻。
　　logistic_regression_path類則比較特殊褪尝，它擬合數(shù)據(jù)后，不能直接來做預(yù)測期犬，只能為擬合數(shù)據(jù)選擇合適邏輯回歸的系數(shù)和正則化系數(shù)河哑。主要是用在模型選擇的時候。一般情況用不到這個類龟虎，所以后面不再講述logistic_regression_path類璃谨。
　　　此外，scikit-learn里面有個容易讓人誤解的類RandomizedLogisticRegression,雖然名字里有邏輯回歸的詞鲤妥，但是主要是用L1正則化的邏輯回歸來做特征選擇的佳吞，屬于維度規(guī)約的算法類，不屬于我們常說的分類算法的范疇棉安。

（２）LogisticRegression和LogisticRegressionCV參數(shù)介紹

sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False, n_jobs=1)

sklearn.linear_model.LogisticRegressionCV(Cs=10, fit_intercept=True, cv=None, dual=False, penalty=’l2’, scoring=None, solver=’lbfgs’, tol=0.0001, max_iter=100, class_weight=None, n_jobs=1, verbose=0, refit=True, intercept_scaling=1.0, multi_class=’ovr’, random_state=None)

關(guān)鍵參數(shù)介紹：
　〉装狻－penalty, 字符型，可選‘l1’ or ‘l2’, 默認為 ‘l2’贡耽，這個參數(shù)是選擇正則化項的衷模，分別對應(yīng)的L1正則化和L2正則化。
　　在調(diào)參時如果我們主要的目的只是為了解決過擬合蒲赂，一般penalty選擇L2正則化就夠了阱冶。但是如果選擇L2正則化發(fā)現(xiàn)還是過擬合，即預(yù)測效果差的時候滥嘴，就可以考慮L1正則化木蹬。另外，如果模型的特征非常多若皱，我們希望一些不重要的特征系數(shù)歸零届囚，從而讓模型系數(shù)稀疏化的話有梆，也可以使用L1正則化。
　　penalty參數(shù)的選擇會影響我們損失函數(shù)優(yōu)化算法的選擇意系。即參數(shù)solver的選擇，如果是L2正則化饺汹，那么4種可選的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇蛔添。但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了兜辞。這是因為L1正則化的損失函數(shù)不是連續(xù)可導(dǎo)的迎瞧，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優(yōu)化算法時都需要損失函數(shù)的一階或者二階連續(xù)導(dǎo)數(shù)。而‘liblinear’并沒有這個依賴逸吵。
　　具體使用了這4個算法有什么不同以及有什么影響凶硅，在solver參數(shù)作出說明。

? ??? －solver, 字符型扫皱，可選‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’, LR默認為'liblinear'足绅，LRCV默認為 ‘lbfgs’，這個參數(shù)決定了我們對邏輯回歸損失函數(shù)的優(yōu)化方法韩脑，有4種算法可以選擇氢妈，分別是：
　　a) liblinear：使用了開源的liblinear庫實現(xiàn)，內(nèi)部使用了坐標軸下降法來迭代優(yōu)化損失函數(shù)段多。
　　b) lbfgs：擬牛頓法的一種首量，利用損失函數(shù)二階導(dǎo)數(shù)矩陣即海森矩陣來迭代優(yōu)化損失函數(shù)。
　　c) newton-cg：也是牛頓法家族的一種进苍，利用損失函數(shù)二階導(dǎo)數(shù)矩陣即海森矩陣來迭代優(yōu)化損失函數(shù)加缘。
　　d) sag：即隨機平均梯度下降，是梯度下降法的變種觉啊，和普通梯度下降法的區(qū)別是每次迭代僅僅用一部分的樣本來計算梯度拣宏，適合于樣本數(shù)據(jù)多的時候。
　　d) saga：隨機優(yōu)化SAG的變種柄延。

從上面的描述可以看出蚀浆，newton-cg, lbfgs和sag這三種優(yōu)化算法時都需要損失函數(shù)的一階或者二階連續(xù)導(dǎo)數(shù)，因此不能用于沒有連續(xù)導(dǎo)數(shù)的L1正則化搜吧，只能用于L2正則化市俊。而liblinear通吃L1正則化和L2正則化。

同時滤奈，sag每次僅僅使用了部分樣本進行梯度迭代摆昧，所以當樣本量少的時候不要選擇它，而如果樣本量非常大蜒程，比如大于10萬绅你，sag是第一選擇伺帘。但是sag不能用于L1正則化，所以當你有大量的樣本忌锯，又需要L1正則化的話就要自己做取舍了伪嫁。要么通過對樣本采樣來降低樣本量，要么回到L2正則化偶垮。

從上面的描述张咳，大家可能覺得，既然newton-cg, lbfgs和sag這么多限制似舵，如果不是大樣本脚猾，我們選擇liblinear不就行了嘛！錯砚哗，因為liblinear也有自己的弱點龙助！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸蛛芥。對于多元邏輯回歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種提鸟。而MvM一般比OvR分類相對準確一些。郁悶的是liblinear只支持OvR常空，不支持MvM沽一，這樣如果我們需要相對精確的多元邏輯回歸時，就不能選擇liblinear了漓糙。也意味著如果我們需要相對精確的多元邏輯回歸不能使用L1正則化了铣缠。

具體OvR和MvM有什么不同我們下一節(jié)講。

官方說明：
對于小型數(shù)據(jù)集昆禽，'liblinear'是一個不錯的選擇蝗蛙，而'sag'和'saga'對大的數(shù)據(jù)集來說速度更快。
對于多類問題醉鳖，只有'newton-cg'捡硅，'sag'，'saga'和'lbfgs'能處理多項式損失（可能就是我們常說的MvM）; 'liblinear'僅限于OvR的情況盗棵。
'newton-cg'壮韭，'lbfgs'和'sag'只能處理L2正則化，而'liblinear'和'saga'可以處理L1正則化纹因，原因在上面已經(jīng)提到喷屋。

“l(fā)iblinear”在LogisticRegressionCV中可能會更慢，因為它不處理熱啟動瞭恰。

請注意屯曹，“sag”和“saga”快速收斂僅在具有大致相同比例的特征上得到保證。可以使用sklearn.preprocessing中的縮放器預(yù)處理數(shù)據(jù)恶耽。

? ??? －multi_class, 字符型密任，可選為‘ovr’,或者‘multinomial’，默認為‘ovr’偷俭。這個參數(shù)決定我們的分類方式浪讳。
　　ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)社搅。如果是二元邏輯回歸驻债，ovr和multinomial并沒有任何區(qū)別，區(qū)別主要在多元邏輯回歸上形葬。
　　OvR的思想很簡單，無論你是多少元邏輯回歸暮的，我們都可以看做二元邏輯回歸笙以。具體做法是，對于第K類的分類決策冻辩，我們把所有第K類的樣本作為正例猖腕，除了第K類樣本以外的所有樣本都作為負例，然后在上面做二元邏輯回歸恨闪，得到第K類的分類模型倘感。其他類的分類模型獲得以此類推。
　　而MvM則相對復(fù)雜咙咽，這里舉MvM的特例one-vs-one(OvO)作講解老玛。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來钧敞，不妨記為T1類和T2類蜡豹，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例溉苛，T2作為負例镜廉，進行二元邏輯回歸，得到模型參數(shù)愚战。我們一共需要T(T-1)/2次分類娇唯。
　　從上面的描述可以看出OvR相對簡單，但分類效果相對略差（這里指大多數(shù)樣本分布情況寂玲，某些樣本分布下OvR可能更好）塔插。而MvM分類相對精確，但是分類速度沒有OvR快敢茁。
　　如果選擇了ovr佑淀，則4種損失函數(shù)的優(yōu)化方法liblinear，newton-cg, lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了伸刃。

? ??? －class_weight,可以自己設(shè)置為dict形式（即{0:0.2,1:0.8}此種形式谎砾，為每個類別賦權(quán)）或者為‘balanced’，默認為None捧颅。這個參數(shù)是來確定類別權(quán)重的景图。
　　當默認None不填的時候，即不考慮權(quán)重碉哑，或者說所有類型的權(quán)重一樣挚币。
　　當自定義dict的時候，則按照自定義的權(quán)重扣典。
　　當選擇‘balanced’的時候妆毕，那么類庫會根據(jù)訓(xùn)練樣本量來計算權(quán)重。某種類型樣本量越多贮尖，則權(quán)重越低笛粘，樣本量越少，則權(quán)重越高湿硝。
　　那么class_weight有什么作用呢薪前？在分類模型中，我們經(jīng)常會遇到兩類問題：
　　第一種是誤分類的代價很高关斜。比如對合法用戶和非法用戶進行分類示括，將非法用戶分類為合法用戶的代價很高，我們寧愿將合法用戶分類為非法用戶痢畜，這時可以人工再甄別垛膝，但是卻不愿將非法用戶分類為合法用戶。這時裁着，我們可以適當提高非法用戶的權(quán)重繁涂。
　　第二種是樣本是高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數(shù)據(jù)10000條二驰，里面合法用戶有9995條扔罪，非法用戶只有5條，如果我們不考慮權(quán)重桶雀，則我們可以將所有的測試集都預(yù)測為合法用戶矿酵，這樣預(yù)測準確率理論上有99.95%，但是卻沒有任何意義矗积。這時全肮，我們可以選擇balanced，讓類庫自動提高非法用戶樣本的權(quán)重棘捣。
　　提高了某種分類的權(quán)重辜腺，相比不考慮權(quán)重，會有更多的樣本分類劃分到高權(quán)重的類別，從而可以解決上面兩類問題评疗。
　　當然测砂，對于第二種樣本失衡的情況，我們還可以考慮用下一節(jié)講到的樣本權(quán)重參數(shù)： sample_weight百匆，而不使用class_weight砌些。sample_weight在下一節(jié)講。

? ??? －sample_weight,這個參數(shù)不是在模型訓(xùn)練時需要設(shè)定的參數(shù)加匈，而是在fit時存璃，可能會用到的。為數(shù)組array格式雕拼。
　　由于樣本可能存在不失衡的問題纵东，導(dǎo)致樣本不是總體樣本的無偏估計，從而可能導(dǎo)致我們的模型預(yù)測能力下降啥寇。遇到這種情況篮迎，我們可以通過調(diào)節(jié)樣本權(quán)重來嘗試解決這個問題。調(diào)節(jié)樣本權(quán)重的方法有兩種示姿，第一種是在class_weight使用balanced。第二種是在調(diào)用fit函數(shù)時逊笆，通過sample_weight來自己調(diào)節(jié)每個樣本權(quán)重栈戳。
　　在scikit-learn做邏輯回歸時，如果上面兩種方法都用到了难裆，那么樣本的真正權(quán)重是class_weight*sample_weight.

其它通用參數(shù)介紹：
? ??? －dual子檀，布爾型，默認值是False乃戈。
　　Ture時褂痰，表示使用dual formulation，僅僅適用于liblinear且L2正則化時症虑。
　　False時缩歪，表示使用primal formulation，當n_samples > n_features谍憔，首選False匪蝙。

? ??? －tol，浮點型习贫，默認值為1e-4逛球，該參數(shù)用于指定判斷算法收斂的閾值。

? ??? －fit_intercept苫昌，布爾型颤绕，默認值為True，指定是否應(yīng)將常量（即平常所說的偏差或截距）添加到?jīng)Q策函數(shù)中。

? ??? －intercept_scaling奥务，浮點型物独，默認為1。
　　只有當使用liblinear且fit_intercept設(shè)置為ture的時候汗洒，該參數(shù)才有用议纯。
　　在這種情況下，x變?yōu)閇x溢谤，intercept_scaling]瞻凤，即一個“合成”特征被附加到實例向量中， 該“合成”特征的常數(shù)值等于intercept_scaling世杀。
　　截距變?yōu)閕ntercept_scaling * synthetic_feature_weight阀参。
　　注意！ 合成特征權(quán)重與所有其他特征一樣瞻坝，需經(jīng)過L1 / L2正則化蛛壳。 為了減小正則化對合成特征權(quán)重（并因此對截距）的影響，必須增加intercept_scaling所刀。

? ??? －random_state衙荐，可選，可以是int整數(shù)型浮创，也可以是RandomState instance忧吟， 或者是 None。默認是None斩披。只有當solver選擇‘sag’ 或者是‘liblinear’時使用溜族。
　　該參數(shù)表示在隨機數(shù)據(jù)混洗時使用的偽隨機數(shù)生成器的種子。
　　如果是int垦沉，則random_state是隨機數(shù)生成器使用的種子;
　　如果是RandomState實例煌抒，則random_state是隨機數(shù)生成器;
　　如果為None，則隨機數(shù)生成器是np.random使用的RandomState實例厕倍。

? ??? －max_iter寡壮，整數(shù)型，默認值為100绑青。僅適用于solver選擇newton-cg诬像，sag和lbfgs時，表示求解器收斂的最大迭代次數(shù)闸婴。

? ??? －verbose坏挠，整數(shù)型，默認值為0邪乍，適用于solver選擇liblinear或bfgs時降狠，將verbose設(shè)置為任何正數(shù)以表示冗長度对竣。

? ??? －n_jobs，整數(shù)型榜配，默認值為1否纬，僅適用于multi_class=ovr時，用于指定并行運算的CPU數(shù)量蛋褥。且临燃，需要注意的是，如果solver選擇liblinear烙心，則不管multi_class設(shè)置為ovr或multinomial膜廊，這個參數(shù)都會被忽略。
　　如果給定值為-1淫茵，則使用所有CPU爪瓜。

LogisticRegression個性化參數(shù)介紹：

? ??? －C，浮點型匙瘪，默認值為1.0铆铆。該參數(shù)表示正則化的懲罰系數(shù)。應(yīng)該是一個正的浮點數(shù)丹喻。

? ??? －warm_start薄货，布爾型，默認值為False碍论。
　　設(shè)置為True時菲驴，下次訓(xùn)練是以追加的形式進行，否則骑冗，就會重新全部計算。
　　warm_start對于liblinear沒用先煎，支持lbfgs贼涩，newton-cg，sag薯蝎，saga遥倦。

LogisticRegressionCV個性化參數(shù)介紹：

? ??? －Cs，一個整數(shù)型或浮點型數(shù)的列表占锯，默認為１０袒哥。
Each of the values in Cs describes the inverse of regularization strength. If Cs is as an int, then a grid of Cs values are chosen in a logarithmic scale between 1e-4 and 1e4. Like in support vector machines, smaller values specify stronger regularization.

? ??? －cv，可以是整數(shù)型消略，或者是一個交叉驗證生成器堡称，默認為Ｎone.
　　默認的交叉驗證生成器是分層K-Folds。
　　如果設(shè)定為某一整數(shù)艺演，則它代表使用的折疊數(shù)（即我們說的10折交叉驗證之類的却紧。）

? ??? －refit桐臊，布爾型，默認為Ture晓殊。
　　If set to True, the scores are averaged across all folds, and the coefs and the C that corresponds to the best score is taken, and a final refit is done using these parameters.
　　Otherwise the coefs, intercepts and C that correspond to the best scores across folds are averaged.
　　我的理解是断凶，如果選擇ture，則coefs和c的值是在多次交叉驗證中巫俺，選擇表現(xiàn)最好的那組參數(shù)值认烁。如果是false，則coefs和c的值是取多次交叉驗證過程中介汹，得到的多組參數(shù)值的平均數(shù)却嗡。（望指正！）

參考文獻：
官方說明文檔LogisticRegression
官方說明文檔LogisticRegressionCV
劉建平博客：scikit-learn 邏輯回歸類庫使用小結(jié) 以及 邏輯回歸原理小結(jié)