多元線性回歸
????????在回歸分析中含衔，如果有兩個或兩個以上的自變量，就稱為多元回歸二庵。事實上贪染，一種現(xiàn)象常常是與多個因素相聯(lián)系的，由多個自變量的最優(yōu)組合共同來預(yù)測或估計因變量催享，比只用一個自變量進(jìn)行預(yù)測或估計更有效杭隙，更符合實際。因此多元線性回歸比一元線性回歸的實用意義更大因妙。
公式
——多元線性回歸模型
1.建立模型
????????以二元線性回歸模型為例 痰憎，二元線性回歸模型如下：
????????類似的使用最小二乘法進(jìn)行參數(shù)估計：
2.擬合優(yōu)度指標(biāo)
????????標(biāo)準(zhǔn)誤差：對y值與模型估計值之間的離差的一種度量票髓。其計算公式為：
3.置信范圍
????????置信區(qū)間的公式為：置信區(qū)間=
估計方法
1.普通最小二乘法
????????普通最小二乘法(Ordinary Least Square, OLS)通過最小化誤差的平方和尋找最佳函數(shù)。通過矩陣運(yùn)算求解系數(shù)矩陣：
2.廣義最小二乘法
????????廣義最小二乘法(Generalized Least Square)是普通最小二乘法的拓展蜗细，它允許在誤差項存在異方差或自相關(guān)裆操，或二者皆有時獲得有效的系數(shù)估計值。公式如：
分析
1、多元回歸分析與簡單線性回歸區(qū)別
多個自變量x
2橱野、多元回歸模型
3朽缴、多元回歸方程
4、估計多元回歸方程
一個樣本被用來計算
的點估計
5水援、估計流程（與簡單線性回歸類似）
6密强、估計方法
????????使sum of squares最小，
????????運(yùn)算與簡單線性回歸類似蜗元，涉及線性代數(shù)和矩陣代數(shù)的運(yùn)算
7或渤、舉例
????????一家快遞公司送貨，X1：運(yùn)輸里程奕扣；X2：運(yùn)輸次數(shù)薪鹦；Y：總運(yùn)輸時間
8、描述參數(shù)含義
????????b1：平均每多送1英里惯豆，運(yùn)輸時間延長0.0611小時
????????b2：平均每多一次運(yùn)輸池磁，運(yùn)輸時間延長0.923小時
9、預(yù)測
????????問題：如果一個運(yùn)輸任務(wù)是跑102英里楷兽，運(yùn)輸6次地熄，預(yù)計時間是多長？
10芯杀、如果自變量里面有分類型變量（categorical data）端考，如何處理？
11揭厚、對第一個表格的數(shù)據(jù)却特，快遞公司運(yùn)輸問題用Python進(jìn)行代碼實現(xiàn)
????????將運(yùn)輸里程、運(yùn)輸次數(shù)筛圆、總運(yùn)輸時間按列的形式保存到文件TransportData.csv文件中裂明，如下圖：
Python3.7實現(xiàn)代碼為：
運(yùn)行結(jié)果：
transportData: [[ 100. 4. 9.3]
[? 50.? ? 3.? ? 4.8]
[ 100.? ? 4.? ? 8.9]
[ 100.? ? 2.? ? 6.5]
[? 50.? ? 2.? ? 4.2]
[? 80.? ? 2.? ? 6.2]
[? 75.? ? 3.? ? 7.4]
[? 65.? ? 4.? ? 6. ]
[? 90.? ? 3.? ? 7.6]
[? 90.? ? 2.? ? 6.4]]
X: [[ 100.? ? 4.]
[? 50.? ? 3.]
[ 100.? ? 4.]
[ 100.? ? 2.]
[? 50.? ? 2.]
[? 80.? ? 2.]
[? 75.? ? 3.]
[? 65.? ? 4.]
[? 90.? ? 3.]
[? 90.? ? 2.]]
Y: [ 9.3? 4.8? 8.9? 6.5? 4.2? 6.2? 7.4? 6.? 7.6? 6.4]
coefficients: [ 0.06231881? 0.88000431]
intercept: -0.807517256255
y_pred: [ 10.82902718]
12、當(dāng)自變量中有分類變量（如：車型）時太援，多元線性回歸處理
????????將分類變量轉(zhuǎn)化成0闽晦，1轰绵，2等數(shù)字來表示。0：小車尼荆，1：SUV，2：卡車唧垦，轉(zhuǎn)碼格式為：用一個3維數(shù)表示捅儒，所用車輛類型為1，其余車型為0.
????????將運(yùn)輸里程振亮、運(yùn)輸次數(shù)巧还、運(yùn)輸車型、總運(yùn)輸時間按列的形式保存到文件TransportData2.csv文件中坊秸，轉(zhuǎn)碼格式如下圖：
將轉(zhuǎn)碼后的數(shù)據(jù)保存在TransportData2.csv文件中：
總結(jié)
????????好啦麸祷，以上是線性回歸算法，我希望自己能多專研機(jī)器學(xué)習(xí)方面的知識并結(jié)合實例進(jìn)行闡述褒搔。
????????讓人遺憾的是阶牍，簡書不支持?jǐn)?shù)學(xué)公式，所以我大部分地方是從我的word文檔里面貼圖過來的星瘾，花費我大量的時間不說走孽，可能有些地方難免會失去數(shù)學(xué)本來的味道。
????????寫這篇文章的目的琳状，一是幫助自己加深對機(jī)器學(xué)習(xí)算法的理解磕瓷；二是很希望能幫助到需要的同學(xué)，大家共同進(jìn)步念逞。
????????本人知識水平有限困食，如有錯誤之處，還請大家多多諒解翎承。
