大師兄的應(yīng)用回歸分析學(xué)習(xí)筆記（三）：一元線性回歸（二）
大師兄的應(yīng)用回歸分析學(xué)習(xí)筆記（五）：多元線性回歸（二）
一、多元線性回歸模型
- 在實際問題中，一元線性回歸只不過是回歸分析中的一種特例芋哭，通常是對影響某種現(xiàn)象的許多因素進行簡化考慮的結(jié)果。
1. 多元線性回歸模型的一般形式
- 設(shè)隨機變量y與一般變量
的線性回歸模型為：
是p個未知參數(shù)
是回歸常數(shù)
是回歸系數(shù)
- y是被解釋變量（因變量）
- p=1時，為一元線性回歸模型是嗜；p>1時愈案，為多元線性回歸模型。
為隨機誤差
- 理論回歸方程：
- 假定
%3D0%20%5C%5C%20var(%5Cepsilon)%20%3D%20%5Cdelta%5E2%20%5Cend%7Bcases%7D)
- 回歸設(shè)計矩陣：
是一個
階矩陣
2. 多元線性回歸模型的基本假定
- 解釋變量
(自變量列之間不相關(guān)，樣本量的個數(shù)大于解釋變量的個數(shù)丽柿，X是以滿軼矩陣)恢准。
- 隨機誤差項具有零均值和等方差（高斯-馬兒柯夫條件），即假設(shè)觀測值沒有系統(tǒng)誤差甫题，且隨機誤差項在不同樣本點之間是不相關(guān)的馁筐，并且有相同的精度。
- y服從n維正態(tài)分布坠非。
3. 多元線性回歸方程的解釋
- 假設(shè)有
- 加入
保持不變敏沉，則有
- 對一般情況下含有p個自變量的多元線性回歸而言，每個回歸系數(shù)
可解釋為自變量
每增加一個單位，因變量y的平均增加幅度盟迟。
二秋泳、回歸參數(shù)的估計
1. 回歸參數(shù)的普通最小二乘估計
- 最小二乘法，就是尋找參數(shù)
的估計值
攒菠，使離差平方和
達到極小迫皱。
-
- 經(jīng)驗回歸方程：
2. 回歸值與殘差
- 在求出回歸參數(shù)的最小二乘估計后辖众，可以用經(jīng)驗回歸方程計算因變量的回歸值與殘差值卓起。
-
的回歸擬合值：
- 相應(yīng)的，因變量向量
的回歸值：
- 誤差項方差
的無偏估計為：
- 如果用普通最小二乘法估計多元線性回歸模型的未知參數(shù)赵辕，樣本量必須不少于模型中參數(shù)的個數(shù)既绩。
3. 回歸參數(shù)的最大似然估計
- 多元線性回歸的最大似然與一元線性回歸的最大似然估計的思想一致。
-
~
服從正態(tài)分布还惠，y的概率分布為：
- 似然函數(shù)為：
- 其中的未知參數(shù)是
和
- 最大似然估計就是選取使似然數(shù)L達到最大的
- 在正態(tài)假定下，回歸數(shù)
- 誤差項方差
