1.多元線性回歸模型
一般的多元線性回歸模型可以寫(xiě)為：
多元線性回歸模型
因?yàn)樵诮^大數(shù)情況下，回歸方程都是有常數(shù)奋岁，我們可以令xi1 = 1 ，則上式可以簡(jiǎn)化為：
多元線性回歸模型
上式又可以用向量來(lái)表示：
多元線性回歸模型
全部寫(xiě)出來(lái)有如下：
多元線性回歸模型
其中矩陣X為：
X矩陣
如此便得到了一般多元線性回歸模型的向量形式
2.OLS估計(jì)量的推導(dǎo)
我們的目標(biāo)函數(shù)依舊是最小化殘差平方和肖方，尋找最佳擬合的回歸超平面。
目標(biāo)函數(shù)為：
目標(biāo)函數(shù)
一階條件為：
一階條件
次方程組稱為“正規(guī)方程組“，滿足該方程組的beta hat解稱為OLS估計(jì)量
由殘差表達(dá)式
殘差
可以將正規(guī)方程組用矩陣形式表示出來(lái)
矩陣形式
矩陣形式
由殘差表達(dá)式可以進(jìn)一步得到殘差向量
殘差向量
接下來(lái)繼續(xù)求解OLS估計(jì)量
OLS估計(jì)量
3.擬合優(yōu)度
對(duì)于多元線性回歸方程棠涮，擬合優(yōu)度的缺點(diǎn)被放大搅方。即如果增加解釋變量的數(shù)目比吭，則擬合優(yōu)度只增不減绽族，因?yàn)橹辽倏勺屝略鼋忉屪兞康南禂?shù)為0而擬合優(yōu)度保持不變。另外通過(guò)最優(yōu)地選擇新增解釋變量的系數(shù)以及已有的解釋變量系數(shù)衩藤，通嘲陕可以提高擬合優(yōu)度。因此赏表，需要引入校正擬合優(yōu)度检诗，對(duì)解釋變量過(guò)多進(jìn)行懲罰。
e
由上圖瓢剿，我們可以看出逢慌，n個(gè)殘差被K個(gè)方程束縛了，所以自由的殘差只剩下n-K個(gè)
y
由上圖跋选，我們可以得知涕癣，對(duì)于n個(gè)y i - y* （y*表示y的均值），其中必有一項(xiàng)可以由其余n-1項(xiàng)表示前标∽购可以類比下：a+b+c=0，則c=-(a+b)炼列，可以說(shuō)c是不自由的只搁。
我們可以通過(guò)調(diào)整自由度對(duì)模型進(jìn)行“懲罰”
校正擬合優(yōu)度
同樣的，無(wú)論擬合優(yōu)度還是校正擬合優(yōu)度只反映了擬合程度的好壞俭尖。評(píng)估回歸方程是否顯著氢惋，應(yīng)使用F檢驗(yàn)。此外稽犁，對(duì)于無(wú)常數(shù)項(xiàng)的多元回歸模型焰望，其非中心擬合優(yōu)度仍然為
非中心擬合優(yōu)度
Over~
