一、基本形式
線性模型形式簡單、易于建模苫纤、許多非線性模型是在其基礎(chǔ)上通過引入層級結(jié)構(gòu)或高維映射而得互订，其具有很好的解釋性吱肌。一般向量形式寫為：
f(x) = WTx+b
其中W = (w1,w2,w3,.....wd) ，x = （x1,x2,x3,....xd)

二仰禽、線性回歸
線性回歸試圖學(xué)得一個線性模型以盡可能準(zhǔn)確地預(yù)測實(shí)值輸出標(biāo)記氮墨。
f(xi) = WTxi+b,使得f(xi)盡可能等于yi
確定w和b的關(guān)鍵在于如何衡量f(x)和y之間的差別，回歸模型常用均方誤差來度量吐葵，及：
（w,b） =arg min sum(f(xi)-yi)2
=arg min sum(yi - WTxi - b)2
基于均方誤差最小化進(jìn)行的模型求解方法“最小二乘法”规揪，在線性回歸中，最小二乘法就是試圖找到一條直線温峭，使得所有樣本到直線的距離之和最小,其具體過程為猛铅，首先均方誤差函數(shù)對ω和b求偏導(dǎo)：

image.png

然后，令以上兩式為0即可獲得ω和b的解凤藏。
以上便是求解線性回歸模型的過程奸忽，它的前提假設(shè)是預(yù)測值yi與輸入xi之間存在著線性關(guān)系堕伪，但有時在我們處理的問題中可能是預(yù)測值的對數(shù)與輸入值存在線性關(guān)系，或者預(yù)測值與輸入值存在著更為復(fù)雜的函數(shù)關(guān)系栗菜，為了解決這種情況欠雌，于是便產(chǎn)生了對數(shù)線性回歸（log-linear regression）和廣義線性回歸（generalized linear regression）的概念，他們的模型分別如下：

image.png

三疙筹、 對數(shù)幾率回歸（Logistic Regression）
線性回歸模型產(chǎn)生的預(yù)測值是實(shí)值富俄，對于分類任務(wù)比如需要判斷明天是天晴還是下雨就不適用了。對數(shù)幾率回歸的提出正是用來解決分類任務(wù)的腌歉，它在線性模型的基礎(chǔ)上將預(yù)測值yi轉(zhuǎn)化為接近于指定的有限個值的輸出蛙酪。最常用的轉(zhuǎn)化方法是通過sigmoid函數(shù)，轉(zhuǎn)化為o或1兩個值翘盖，適用于二分類任務(wù)桂塞。

image.png

最優(yōu)解求解后續(xù)補(bǔ)充。

四馍驯、線性判別分析
線性判別分析（linear Discriminant Analysis,簡稱LDA）是一種經(jīng)典的線性學(xué)習(xí)方法阁危，他的思想非常樸素：給定訓(xùn)練樣例集，設(shè)法將樣例投影到一條直線上汰瘫，使得同類樣例的投影點(diǎn)盡可能接近狂打、異類樣例的投影點(diǎn)盡可能遠(yuǎn)離；在對新樣本進(jìn)行分類時混弥，將其投影到同樣的這條直線上趴乡，再根據(jù)投影點(diǎn)的位置來確定新樣本的類別。
求解后續(xù)補(bǔ)充蝗拿。

五晾捏、多分類學(xué)習(xí)
在前面介紹的兩個方法中所使用的例子都是二分類任務(wù)，但在現(xiàn)實(shí)生活中我們遇見的多分類任務(wù)更多一些哀托。由于二分類任務(wù)的解決方法較為簡單惦辛，因此在很多情形下，我們可以基于一些策略仓手，利用二分類學(xué)習(xí)器來解決多分類問題胖齐。最經(jīng)典的拆分策略有三種，分別是：“一對一（One VS One,OvO）”嗽冒、“一對其余(One vs Rest,OvR)”和“多對多(Many vs Many,MvM)”

1呀伙、一對一：給定數(shù)據(jù)集D假定其中有N個真實(shí)類別，從使用分而治之的思路添坊，將這N個類別進(jìn)行兩兩配對(一個正類/一個反類)区匠，從而產(chǎn)生N(N-1)/2個二分類學(xué)習(xí)器，每個學(xué)習(xí)器對一種類別進(jìn)行判別。在測試階段驰弄，將新樣本放入所有的二分類學(xué)習(xí)器中測試麻汰，得出N(N-1)個結(jié)果，最終通過投票產(chǎn)生最終的分類結(jié)果戚篙。訓(xùn)練N個分類器五鲫，開銷較大。

2岔擂、一對其余：給定數(shù)據(jù)集D假定其中有N個真實(shí)類別位喂，每次取出一個類作為正類，剩余的所有類別作為一個新的反類乱灵，從而產(chǎn)生N個二分類學(xué)習(xí)器塑崖，在測試階段得出N個結(jié)果若僅有一個學(xué)習(xí)器預(yù)測為正類，則對應(yīng)的類標(biāo)作為最終分類結(jié)果痛倚。優(yōu)時也要考慮預(yù)置置信度的大小確定類別规婆。

3、多對多：給定數(shù)據(jù)集D假定其中有N個真實(shí)類別蝉稳，每次取若干個類作為正類抒蚜，若干個類作為反類（通過ECOC碼給出編碼），若進(jìn)行了M次劃分耘戚，則生成了M個二分類學(xué)習(xí)器嗡髓，在測試階段（解碼），得出M個結(jié)果組成一個新的碼收津，最終通過計(jì)算海明/歐式距離選擇距離最小的類別作為最終分類結(jié)果饿这。
區(qū)別多分類與多標(biāo)記，多分類是每個樣本只屬于一個類撞秋，多標(biāo)記是樣本可以同時屬于多個類

六长捧、類別不平衡
1、過采樣（SMOTE）
2部服、欠采樣（EasyEnsemble）
3唆姐、閾值平衡（cost-sensitive learning）