似然比檢驗(yàn) (LR test)

計(jì)量中檢驗(yàn)的一般套路是以 p-value 顯著、拒絕原假設(shè)為理想情況置逻,然而總有幾個(gè)檢驗(yàn)的假設(shè)是不按套路出牌的呛牲。Hansen 檢驗(yàn)算一個(gè),LR 檢驗(yàn)算第二個(gè)嚼贡。

Stata 應(yīng)用

LR 檢驗(yàn)可用于模型的比較和選擇熏纯,用法與 Hausman 檢驗(yàn)相似:
reg ... (model 1)
est store m1
reg ... (model 2)
lrtest m1 .
配合 AIC 和 BIC 信息指標(biāo)使用:
lrtest m1 . ,stats

lrtest

如何理解 Stata 匯報(bào)的結(jié)果?

回到檢驗(yàn)本身粤策,似然比是有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值之比樟澜。因此,似然比檢驗(yàn)的實(shí)質(zhì)是比較有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值叮盘。

似然比檢驗(yàn)的思想是:如果參數(shù)約束是有效的秩贰,那么加上這樣的約束不應(yīng)該引起似然函數(shù)最大值的大幅度降低。因此:

H0:參數(shù)約束有效柔吼,有約束模型優(yōu)于無(wú)約束模型毒费。
H1:參數(shù)約束無(wú)效,無(wú)約束模型優(yōu)于有約束模型愈魏。
劃重點(diǎn):不拒絕 H0 表明有約束模型更優(yōu)觅玻。

約束模型與無(wú)約束模型是相對(duì)而言的,變量越少的模型受到的約束更多(βi=0)培漏,變量最多的模型才是無(wú)約束模型溪厘。

Stata 會(huì)自動(dòng)識(shí)別哪個(gè)是約束模型,在檢驗(yàn)結(jié)果第一行列出:ModelA nested in ModelB 牌柄。nested 意為嵌套畸悬,A 嵌套在 B 中,就是說(shuō) A 是約束模型珊佣,B 是無(wú)約束模型蹋宦。

在截圖的例子中,LR 具有統(tǒng)計(jì)顯著性咒锻,因此拒絕原假設(shè)冷冗,選擇無(wú)約束模型,即 gsem1虫碉。

注意贾惦,一般情況下胸梆,約束模型的 AIC 是小于無(wú)約束模型的敦捧。此處順便補(bǔ)充一句须板,AIC 信息的判斷標(biāo)準(zhǔn)是 " the smaller the better ",不關(guān)心絕對(duì)值兢卵,只關(guān)心相對(duì)值习瑰。因此,一個(gè)負(fù)的絕對(duì)值大的 AIC 是好于正的絕對(duì)值小的 AIC 的秽荤。

A good reference is Model Selection and Multi-model Inference: A Practical Information-theoretic Approach (Burnham and Anderson, 2004), particularly on page 62 (section 2.2):
" In application, one computes AIC for each of the candidate models and selects the model with the smallest value of AIC."
as well as on page 63:
" Usually, AIC is positive; however, it can be shifted by any additive constant, and some shifts can result in negative values of AIC. [...] It is not the absolute size of the AIC value, it is the relative values over the set of models considered, and particularly the differences between AIC values, that are important."
Source: https://stats.stackexchange.com/questions/84076/negative-values-for-aic-in-general-mixed-model

既然通常情況下甜奄,約束模型的 AIC 總是小于無(wú)約束模型的,那么憑借 AIC 信息就無(wú)法對(duì)兩個(gè)模型進(jìn)行有效的比較窃款。這就顯現(xiàn)出 LR 的價(jià)值:在 AIC 提供的信息不充分的情況下课兄,如何比較有約束模型和無(wú)約束模型的優(yōu)劣?LR 檢驗(yàn)指出晨继,如果參數(shù)約束有效烟阐,那么加上這樣的約束不會(huì)引起似然函數(shù)最大值的大幅度降低。

模型(Refer:半碗魚(yú)

變量X=(X_{1},……紊扬,X_{n})服從的分布里有未知參數(shù)\theta蜒茄,記其概率密度函數(shù)為f(x),聯(lián)合概率密度函數(shù)為p(x;\theta)餐屎。

原假設(shè)H_{0}是對(duì)參數(shù)\theta的假設(shè)檀葛,比如\theta=\theta_{0}
備擇假設(shè)H_{1}:\theta=\theta_{1}(\theta_{1}≠\theta_{0})腹缩。
若參數(shù)有多種可能的取值屿聋,則假設(shè)H_{0}:\theta∈\Theta_{0},備擇假設(shè)H_{1}:\theta∈\Theta_{1}藏鹊,其中\Theta_{0},\Theta_{1}表示集合胜臊。
從假設(shè)可以看出,似然比檢驗(yàn)(或概率比檢驗(yàn))這種推斷常用于區(qū)分樣本來(lái)自這類(lèi)分布還是那類(lèi)分布的參數(shù)檢驗(yàn)問(wèn)題伙判。

我們知道象对,似然函數(shù)Ln個(gè)獨(dú)立樣本的聯(lián)合概率密度函數(shù),就是出現(xiàn)n個(gè)樣本為向量X的概率宴抚,就是f(x)的連乘勒魔。因此有L(\theta;x)=kp(x;\theta),通常取k=1菇曲。

H_{0}成立時(shí)的似然函數(shù)為L_{0}冠绢。它是原假設(shè)成立時(shí),觀察到樣本點(diǎn)x的可能性的一個(gè)度量(似然)常潮,即n次取樣的結(jié)果為向量X的概率弟胀。
若參數(shù)有多種可能的取值(即假設(shè)為集合的情況H_{0}:\theta∈\Theta_{0}),就用廣義似然函數(shù)sup L_{0}(用\theta的極大似然估計(jì)\theta^{*}代入計(jì)算可得)。

同理孵户,記H_{1}成立時(shí)的似然函數(shù)為L_{1}(或廣義似然函數(shù)sup L_{1})萧朝。它是在H_{1}成立的條件下,n次取樣的結(jié)果為向量X的概率夏哭。

定義\lambda(x)=\frac{L_{1}}{L_{0}}=\frac{p(x;\theta_{1})}{p(x;\theta_{0})}為似然比检柬。

顯然,\lambda(x)越大竖配,備擇假設(shè)成立觀察到樣本點(diǎn)x的可能性越高何址,拒絕H_{0}的概率越高。換句話說(shuō)进胯,樣本 在H_{1}條件下出現(xiàn)的概率 比 在H_{0}條件下出現(xiàn)的概率 的比值越大用爪,H_{1}成立的可能性越高。

因此胁镐,我們?cè)O(shè)定臨界值c项钮,當(dāng)似然比\lambda(x)≥c時(shí),我們就拒絕H_{0}希停。臨界值c由似然比函數(shù)(往往是關(guān)于某個(gè)可知道分布的統(tǒng)計(jì)量T(X)的單調(diào)函數(shù))結(jié)合給定的顯著性水平值就能確定烁巫。

Ref:
數(shù)理統(tǒng)計(jì)學(xué)習(xí)筆記:極大似然估計(jì)
數(shù)理統(tǒng)計(jì)學(xué)習(xí)筆記:似然比檢驗(yàn)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市宠能,隨后出現(xiàn)的幾起案子亚隙,更是在濱河造成了極大的恐慌,老刑警劉巖违崇,帶你破解...
    沈念sama閱讀 212,542評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件阿弃,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡羞延,警方通過(guò)查閱死者的電腦和手機(jī)渣淳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,596評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)伴箩,“玉大人入愧,你說(shuō)我怎么就攤上這事∴脱瑁” “怎么了棺蛛?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,021評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)巩步。 經(jīng)常有香客問(wèn)我旁赊,道長(zhǎng),這世上最難降的妖魔是什么椅野? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,682評(píng)論 1 284
  • 正文 為了忘掉前任终畅,我火速辦了婚禮籍胯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘离福。我一直安慰自己杖狼,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,792評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布术徊。 她就那樣靜靜地躺著,像睡著了一般鲸湃。 火紅的嫁衣襯著肌膚如雪赠涮。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,985評(píng)論 1 291
  • 那天暗挑,我揣著相機(jī)與錄音笋除,去河邊找鬼。 笑死炸裆,一個(gè)胖子當(dāng)著我的面吹牛垃它,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播烹看,決...
    沈念sama閱讀 39,107評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼国拇,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了惯殊?” 一聲冷哼從身側(cè)響起酱吝,我...
    開(kāi)封第一講書(shū)人閱讀 37,845評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎土思,沒(méi)想到半個(gè)月后务热,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,299評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡己儒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,612評(píng)論 2 327
  • 正文 我和宋清朗相戀三年崎岂,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片闪湾。...
    茶點(diǎn)故事閱讀 38,747評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡冲甘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出途样,到底是詐尸還是另有隱情损合,我是刑警寧澤,帶...
    沈念sama閱讀 34,441評(píng)論 4 333
  • 正文 年R本政府宣布娘纷,位于F島的核電站嫁审,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏赖晶。R本人自食惡果不足惜律适,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,072評(píng)論 3 317
  • 文/蒙蒙 一辐烂、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧捂贿,春花似錦纠修、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,828評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至颜屠,卻和暖如春辰妙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背甫窟。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,069評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工密浑, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人粗井。 一個(gè)月前我還...
    沈念sama閱讀 46,545評(píng)論 2 362
  • 正文 我出身青樓尔破,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親浇衬。 傳聞我的和親對(duì)象是個(gè)殘疾皇子懒构,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,658評(píng)論 2 350