計(jì)量中檢驗(yàn)的一般套路是以 p-value 顯著、拒絕原假設(shè)為理想情況置逻,然而總有幾個(gè)檢驗(yàn)的假設(shè)是不按套路出牌的呛牲。Hansen 檢驗(yàn)算一個(gè),LR 檢驗(yàn)算第二個(gè)嚼贡。
Stata 應(yīng)用
LR 檢驗(yàn)可用于模型的比較和選擇熏纯,用法與 Hausman 檢驗(yàn)相似:
reg ... (model 1)
est store m1
reg ... (model 2)
lrtest m1 .
配合 AIC 和 BIC 信息指標(biāo)使用:
lrtest m1 . ,stats
如何理解 Stata 匯報(bào)的結(jié)果?
回到檢驗(yàn)本身粤策,似然比是有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值之比樟澜。因此,似然比檢驗(yàn)的實(shí)質(zhì)是比較有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值叮盘。
似然比檢驗(yàn)的思想是:如果參數(shù)約束是有效的秩贰,那么加上這樣的約束不應(yīng)該引起似然函數(shù)最大值的大幅度降低。因此:
H0:參數(shù)約束有效柔吼,有約束模型優(yōu)于無(wú)約束模型毒费。
H1:參數(shù)約束無(wú)效,無(wú)約束模型優(yōu)于有約束模型愈魏。
劃重點(diǎn):不拒絕 H0 表明有約束模型更優(yōu)觅玻。
約束模型與無(wú)約束模型是相對(duì)而言的,變量越少的模型受到的約束更多(βi=0)培漏,變量最多的模型才是無(wú)約束模型溪厘。
Stata 會(huì)自動(dòng)識(shí)別哪個(gè)是約束模型,在檢驗(yàn)結(jié)果第一行列出:ModelA nested in ModelB 牌柄。nested 意為嵌套畸悬,A 嵌套在 B 中,就是說(shuō) A 是約束模型珊佣,B 是無(wú)約束模型蹋宦。
在截圖的例子中,LR 具有統(tǒng)計(jì)顯著性咒锻,因此拒絕原假設(shè)冷冗,選擇無(wú)約束模型,即 gsem1虫碉。
注意贾惦,一般情況下胸梆,約束模型的 AIC 是小于無(wú)約束模型的敦捧。此處順便補(bǔ)充一句须板,AIC 信息的判斷標(biāo)準(zhǔn)是 " the smaller the better ",不關(guān)心絕對(duì)值兢卵,只關(guān)心相對(duì)值习瑰。因此,一個(gè)負(fù)的絕對(duì)值大的 AIC 是好于正的絕對(duì)值小的 AIC 的秽荤。
A good reference is Model Selection and Multi-model Inference: A Practical Information-theoretic Approach (Burnham and Anderson, 2004), particularly on page 62 (section 2.2):
" In application, one computes AIC for each of the candidate models and selects the model with the smallest value of AIC."
as well as on page 63:
" Usually, AIC is positive; however, it can be shifted by any additive constant, and some shifts can result in negative values of AIC. [...] It is not the absolute size of the AIC value, it is the relative values over the set of models considered, and particularly the differences between AIC values, that are important."
Source: https://stats.stackexchange.com/questions/84076/negative-values-for-aic-in-general-mixed-model
既然通常情況下甜奄,約束模型的 AIC 總是小于無(wú)約束模型的,那么憑借 AIC 信息就無(wú)法對(duì)兩個(gè)模型進(jìn)行有效的比較窃款。這就顯現(xiàn)出 LR 的價(jià)值:在 AIC 提供的信息不充分的情況下课兄,如何比較有約束模型和無(wú)約束模型的優(yōu)劣?LR 檢驗(yàn)指出晨继,如果參數(shù)約束有效烟阐,那么加上這樣的約束不會(huì)引起似然函數(shù)最大值的大幅度降低。
模型(Refer:半碗魚(yú))
變量服從的分布里有未知參數(shù)
蜒茄,記其概率密度函數(shù)為
,聯(lián)合概率密度函數(shù)為
餐屎。
原假設(shè)是對(duì)參數(shù)
的假設(shè)檀葛,比如
。
備擇假設(shè)腹缩。
若參數(shù)有多種可能的取值屿聋,則假設(shè),備擇假設(shè)
藏鹊,其中
,
表示集合胜臊。
從假設(shè)可以看出,似然比檢驗(yàn)(或概率比檢驗(yàn))這種推斷常用于區(qū)分樣本來(lái)自這類(lèi)分布還是那類(lèi)分布的參數(shù)檢驗(yàn)問(wèn)題伙判。
我們知道象对,似然函數(shù)是
個(gè)獨(dú)立樣本的聯(lián)合概率密度函數(shù),就是出現(xiàn)
個(gè)樣本為向量
的概率宴抚,就是
的連乘勒魔。因此有
,通常取
菇曲。
記成立時(shí)的似然函數(shù)為
冠绢。它是原假設(shè)成立時(shí),觀察到樣本點(diǎn)
的可能性的一個(gè)度量(似然)常潮,即
次取樣的結(jié)果為向量
的概率弟胀。
若參數(shù)有多種可能的取值(即假設(shè)為集合的情況),就用廣義似然函數(shù)
(用
的極大似然估計(jì)
代入計(jì)算可得)。
同理孵户,記成立時(shí)的似然函數(shù)為
(或廣義似然函數(shù)
)萧朝。它是在
成立的條件下,
次取樣的結(jié)果為向量
的概率夏哭。
定義為似然比检柬。
顯然,越大竖配,備擇假設(shè)成立觀察到樣本點(diǎn)
的可能性越高何址,拒絕
的概率越高。換句話說(shuō)进胯,樣本 在
條件下出現(xiàn)的概率 比 在
條件下出現(xiàn)的概率 的比值越大用爪,
成立的可能性越高。
因此胁镐,我們?cè)O(shè)定臨界值项钮,當(dāng)似然比
時(shí),我們就拒絕
希停。臨界值
由似然比函數(shù)(往往是關(guān)于某個(gè)可知道分布的統(tǒng)計(jì)量T(X)的單調(diào)函數(shù))結(jié)合給定的顯著性水平值就能確定烁巫。
Ref:
數(shù)理統(tǒng)計(jì)學(xué)習(xí)筆記:極大似然估計(jì)
數(shù)理統(tǒng)計(jì)學(xué)習(xí)筆記:似然比檢驗(yàn)