摘要
線性回歸解決預測問題，細分為一般線性回歸拨扶、多項式回歸、廣義線性回歸的遞進關系茁肠，Logistic和Softmax回歸解決分類問題患民，Logistic回歸解決二分類，Softmax解決多分類問題垦梆。
1匹颤、線性回歸
一般在線性回歸中人們都會舉房價預測的例子，
式子中x1表示房屋面積托猩，x2表示臥室數(shù)量印蓖，而房價與這兩個變量直接相關，所以我們假設關系如上圖所示京腥，我們的目的是找到合適的cita另伍，使得對每個輸入x，都能得到一個y，越接近實際值越好摆尝，這里我們定義接近程度的指標温艇，使之越小越好，即目標函數(shù)：
此時的目的是求出使得
最小堕汞，即誤差最小勺爱，即擬合實際最好的參數(shù)。這里求cita的方法有最小二乘和梯度下降讯检，梯度下降參見: 優(yōu)化算法總結(jié)
琐鲁，最小二乘就是直接算：
當X^T*X不可逆時，加入擾動：
梯度下降算法就是不斷的更新cita使得J越來越小人灼，直到找到最優(yōu)解或者局部最優(yōu)解：
當我們在設計模型時围段，為了提高準確率可能會加入其它變量，比如房屋價格的例子中除了面積和我是外投放，加入了是否為學區(qū)房奈泪、房屋年齡等變量，此時模型會變得復雜灸芳，有可能造成在訓練集上可能擬合的很好涝桅，但是在測試集上效果不好的情況，也就是過擬合烙样。
防止過擬合的方法可以在目標函數(shù)中加入正則項冯遂，更加詳細的說明參見：正則
L1正則(Lasso回歸)：
L2正則(嶺回歸)：
Lasso回歸可以使得特征的參數(shù)變小，甚至為0谒获，因此有特征選擇的能力蛤肌，泛化能力強，求解復雜批狱。
Ridge回歸不舍棄特征的同時縮小參數(shù)裸准，使得模型相對穩(wěn)定，求解直接求導=0即可精耐。
加入正則化的變化
這里加入正則的目的是使得參數(shù)趨越小越好狼速，參數(shù)越小越平滑琅锻，當輸入有變化時輸出的變化不會太大變化卦停，避免了一些噪聲、異常數(shù)據(jù)的影響恼蓬。同時的值越大惊完，在訓練集上得到的值error越大，在測試集上隨著
的增大处硬，會更看中正則的值而弱化error的影響小槐，所以在測試error會降低，但是當
增大到一定程度時，error將會增大凿跳。
2件豌、多項式回歸和廣義線性回歸
多項式回歸：
將模型特征如果變?yōu)槎啻蔚模珀P于特征的模型
由映映射得到5元特征
控嗜，則原式可寫成：
重新把不是線性回歸變成了線性回歸茧彤。
廣義線性回歸：
多項式回歸是對特征的推廣，廣義線性回歸是對y的推廣疆栏，比如曾掂，
與
滿足線性關系，一般化的廣義線性回歸：
壁顶。
3珠洗、Logistic回歸和softmax回歸
線性回歸模型的y是連續(xù)的，如果y是離散的若专，此時若再給y一個函數(shù)轉(zhuǎn)換g许蓖，使得g(y)的值在某個區(qū)間上是類別A，某個區(qū)間上是類別B富岳，則就有了分類的概念蛔糯，即得到了分類模型，在softmax回歸分類模型中窖式，我們引入的g是sigmoid函數(shù)蚁飒，大于0.5的分類為1，小于0.5的分類為0萝喘。
sigmoid函數(shù)的形式：
淮逻，令
，則
二元邏輯回歸的損失函數(shù)
y的取值只能是0和1阁簸，即：
（式1）
（式2）
二者結(jié)合得到y(tǒng)的概率分布表達式：
同時我們可以看到爬早，將式子1定義為事件發(fā)生的概率，則事件發(fā)生的幾率為
启妹，整理得:
筛严，即輸出
的對數(shù)幾率是輸入
的線性表示模型。
用極大似然參數(shù)估計
取對數(shù)似然得到：
再取反就轉(zhuǎn)化成了目標函數(shù)的優(yōu)化問題饶米，用梯度下降法或者擬牛頓法求解最小值桨啃。
softmax回歸
未完待續(xù)...
4、回歸的總結(jié)
線性回歸是f對輸出變量y的擬合檬输，邏輯回歸是對為1的樣本的概率的擬合
擬合函數(shù)與預測函數(shù)的關系照瘾，是將擬合函數(shù)做一個邏輯回歸的轉(zhuǎn)換，轉(zhuǎn)換后是的y的值屬于(0, 1)
