1-廣義線性模型

-幾種不同模型概括

????? * 線性模型(Classical Linear Model):結(jié)局變量為連續(xù)變量撩鹿,服從正態(tài)分布(殘差~N(0,σ^2))浪读,滿足獨(dú)立性流译、等方差性(方差為常量)封字。自變量也為連續(xù)變量黔州。即線性回歸。

?????* 一般線性模型(General Linear Model):線性模型的擴(kuò)展阔籽。在其基礎(chǔ)上流妻,自變量可以是連續(xù)變量,也可以是分類變量笆制。比如線性回歸绅这、方差分析、協(xié)方差分析等在辆。對(duì)應(yīng)SAS中的Proc GLM過程证薇。

?????* 線性混合效應(yīng)模型(Linear Mixed Model ):一般線性模型的擴(kuò)展度苔。允許數(shù)據(jù)不滿足獨(dú)立性和等方差性,但是結(jié)局變量仍為連續(xù)變量浑度,仍需符合線性假設(shè)寇窑。可以同時(shí)包含固定效應(yīng)和隨機(jī)效應(yīng)箩张。對(duì)應(yīng)SAS中的Proc MIXED過程甩骏。

????? * 廣義線性模型(Generalized Linear Model ):一般線性模型的擴(kuò)展。模型左側(cè)結(jié)局變量為指數(shù)分布族中的一種伏钠,不要求服從正態(tài)分布横漏,可以是連續(xù)變量,也可以是分類變量熟掂。模型右側(cè)仍為線性組合缎浇,通過連接函數(shù)進(jìn)行連接。對(duì)應(yīng)SAS中的Proc GENMOD過程赴肚。

?????* 廣義線性混合效應(yīng)模型(Generalized Linear Mixed Model):相當(dāng)于廣義線性模型和線性混合效應(yīng)模型的綜合素跺。對(duì)應(yīng)SAS中的Proc GLIMMIX過程。

- 廣義線性模型(Generalized linear model)

?????廣義線性模型的因變量需要為指數(shù)分布族中的一種誉券。正態(tài)分布指厌、二項(xiàng)分布、泊松分布等都可以轉(zhuǎn)換成指數(shù)分布族的形式踊跟。

?????Exponential Dispersion Family
不同文獻(xiàn)中的標(biāo)注不太一樣踩验,SAS中的ai(Φ)有些文獻(xiàn)中直接標(biāo)注為Φ

?????均值和方差都可以通過b(θ)進(jìn)行計(jì)算:
SAS help

幾個(gè)參數(shù)的含義如下,分布族中的其他分布對(duì)應(yīng)參數(shù)的不同形式商玫。
大概看一下幫助理解箕憾。
?????Φ:dispersion parameter/scale parameter。常量拳昌,已知或待估計(jì)袭异。
?????θ:Canonical form of the location parameter【嫣伲可以表示均值μ的函數(shù)
?????b(θ):θ的函數(shù)御铃。
?????y:已知的因變量。

e.g. 正態(tài)分布
Applying Generalized Linear Models
?
SAS Help

????? ????? ?????SAS中的Φ=a_i(Φ)=σ^2沈矿,Scale=sqrt(a_i(Φ))=σ

e.g.伽馬分布
Applying Generalized Linear Models

SAS help
????? ??????????SAS中的Φ=a_i(Φ)=v^{-1}上真,Scale=1/a_i(Φ)=v

SAS Help中不同分布對(duì)應(yīng)的Scale
模型的3個(gè)要素:
  1. 因變量(Random component),服從指數(shù)分布族羹膳。e.g. 正態(tài)分布谷羞、泊松分布。
  2. 線性預(yù)測(cè)組合(Systematic component)。由協(xié)變量x_1,x_2, ..., x_p組成的線性預(yù)測(cè) η=x_1β_1+...+x_pβ_p湃缎。β待估計(jì)犀填。
  3. 連接函數(shù)(Link Function):連接因變量均值和線性預(yù)測(cè)組合之間的單調(diào)可微函數(shù)g(.),使因變量符合線性組合的范圍嗓违。

X^Tβ=g(μ)九巡,μ=g^{-1}(X^Tβ)

一般線性模型中(1)為正態(tài)分布蹂季,(3)的連接函數(shù)為恒等函數(shù)(identity function)冕广。
廣義線性模型允許(1)為非正態(tài)分布,(3)可以是任何單調(diào)可微的函數(shù)偿洁。


**

模型中涉及到canonical link function的概念撒汉。SAS中描述為:
The canonical link function is that function which transforms the mean to a canonical location parameter of the exponential dispersion family member。
一個(gè)模型對(duì)應(yīng)的Link function可能有多個(gè)涕滋,如二項(xiàng)分布對(duì)應(yīng)的link function可以是probit或者logit睬辐,都可以將(0,1)范圍內(nèi)的概率轉(zhuǎn)換至線性組合的范圍,使g(μ)∈(-∞,+∞)宾肺。 但只有連接均值μ和Canonical parameter-θ的函數(shù)g被稱之為Canonical Link function溯饵。即g(μ)=θ。
因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%CE%BC%3Db'(%CE%B8)" alt="μ=b'(θ)" mathimg="1">锨用,則θ=(b’)^{-1}(μ) 丰刊,g(μ)=θ=(b’)^{-1}(μ)

二項(xiàng)分布的例子:
p^y(1-p)^{1-y}=exp(ylogp+(1-y)log(1-p))=exp(ylog(\frac{p}{1-p})+log(1-p))
對(duì)應(yīng)θ=log(\frac{p}{1-p}), 即Canonical link function為log(\frac{p}{1-p})增拥,即為logit變換啄巧。b(θ)=-log(1-p),p=\frac{e^θ}{1+e^θ}掌栅,b(θ)=ln(1+e^θ)


參考了以下的視頻和書秩仆,幫助理解:
B站的視頻:https://b23.tv/igMu8hr
書:Applying Generalized Linear Models

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市渣玲,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌弟晚,老刑警劉巖忘衍,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異卿城,居然都是意外死亡枚钓,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門瑟押,熙熙樓的掌柜王于貴愁眉苦臉地迎上來搀捷,“玉大人,你說我怎么就攤上這事∧壑郏” “怎么了氢烘?”我有些...
    開封第一講書人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長家厌。 經(jīng)常有香客問我播玖,道長,這世上最難降的妖魔是什么饭于? 我笑而不...
    開封第一講書人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任蜀踏,我火速辦了婚禮,結(jié)果婚禮上掰吕,老公的妹妹穿的比我還像新娘果覆。我一直安慰自己,他們只是感情好殖熟,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開白布局待。 她就那樣靜靜地躺著,像睡著了一般吗讶。 火紅的嫁衣襯著肌膚如雪燎猛。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,688評(píng)論 1 305
  • 那天照皆,我揣著相機(jī)與錄音重绷,去河邊找鬼。 笑死膜毁,一個(gè)胖子當(dāng)著我的面吹牛昭卓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播瘟滨,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼候醒,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了杂瘸?” 一聲冷哼從身側(cè)響起倒淫,我...
    開封第一講書人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎败玉,沒想到半個(gè)月后敌土,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡运翼,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年返干,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片血淌。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡矩欠,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情癌淮,我是刑警寧澤躺坟,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站该默,受9級(jí)特大地震影響瞳氓,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜栓袖,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一匣摘、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧裹刮,春花似錦音榜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至违霞,卻和暖如春嘴办,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背买鸽。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來泰國打工涧郊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人眼五。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓妆艘,卻偏偏與公主長得像,于是被迫代替她去往敵國和親看幼。 傳聞我的和親對(duì)象是個(gè)殘疾皇子批旺,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容