https://blog.csdn.net/u010462995/article/details/70847146
對于線性回歸模型,當(dāng)因變量服從正態(tài)分布,誤差項滿足高斯–馬爾科夫條件(零均值口叙、等方差权旷、不相關(guān))時,回歸參數(shù)的最小二乘估計是一致最小方差無偏估計.
解釋一:
我們假設(shè)線性回歸的噪聲服從均值為0的正態(tài)分布江锨。
當(dāng)噪聲符合正態(tài)分布N(0,delta^2)時,因變量則符合正態(tài)分布N(ax(i)+b,delta^2)斜棚,其中預(yù)測函數(shù)y=ax(i)+b阀蒂。這個結(jié)論可以由正態(tài)分布的概率密度函數(shù)得到。也就是說當(dāng)噪聲符合正態(tài)分布時弟蚀,其因變量必然也符合正態(tài)分布蚤霞。
在用線性回歸模型擬合數(shù)據(jù)之前,首先要求數(shù)據(jù)應(yīng)符合或近似符合正態(tài)分布义钉,否則得到的擬合函數(shù)不正確昧绣。
若本身樣本不符合正態(tài)分布或不近似服從正態(tài)分布,則要采用其他的擬合方法捶闸,比如對于服從二項式分布的樣本數(shù)據(jù)夜畴,可以采用logistics線性回歸。
線性回歸是廣義線性模型删壮,它的函數(shù)指數(shù)簇就是高斯分布贪绘。
p(y;η) = b(y)exp(η T T(y) ? a(η));
假設(shè)方差為1醉锅,以下為高斯分布推導(dǎo)為廣義函數(shù)指數(shù)簇:
η = μ
T(y) = y
a(η) = μ^2 /2= η^2 /2
b(y) = (1/ √ 2π)exp(?y^2 /2).
目標(biāo)函數(shù)h(x) = E(y|x) = μ = η = θ T x