高級(jí)計(jì)量經(jīng)濟(jì)學(xué) 6:小樣本OLS(下: t 檢驗(yàn))

高級(jí)計(jì)量經(jīng)濟(jì)學(xué) 6:小樣本OLS(下: t 檢驗(yàn))

此文內(nèi)容為《高級(jí)計(jì)量經(jīng)濟(jì)學(xué)及STATA應(yīng)用》的筆記,陳強(qiáng)老師著盐固,高等教育出版社出版。

我只將個(gè)人會(huì)用到的知識(shí)作了筆記,并對(duì)教材較難理解的部分做了進(jìn)一步闡述燥筷。為了更易于理解,我還對(duì)教材上的一些部分(包括代碼和正文)做了修改院崇。

僅供學(xué)習(xí)參考肆氓,請(qǐng)勿轉(zhuǎn)載,侵刪底瓣!


本文目錄

  • 3 小樣本OLS
    • 3.6 對(duì)單個(gè)系數(shù)的 t 檢驗(yàn)
      • 3.6.1 假設(shè) \pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I})
      • 3.6.2 假設(shè)檢驗(yàn)的基本思想
      • 3.6.3 計(jì)量的第一大類檢驗(yàn):沃爾德檢驗(yàn)(Wald test)
      • 3.6.4 定義 t 統(tǒng)計(jì)量
      • 3.6.5 t 檢驗(yàn)和 p
      • 3.6.6 犯第幾類錯(cuò)誤谢揪?

\S \text{ 第 3 章 } \S

\text{小樣本OLS}


3 小樣本OLS

3.6 對(duì)單個(gè)系數(shù)的 t 檢驗(yàn)

3.6.1 假設(shè) \pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I})

在第3.1節(jié)我們已經(jīng)知道,小樣本OLS有4個(gè)基本假定捐凭,即:

  • 線性假定
  • 嚴(yán)格外生性:{\rm E}(\pmb \varepsilon | {\bf X})=0 \Rightarrow {\rm E}(\pmb \varepsilon)=\pmb 0
  • 不存在多重共線性
  • 球形擾動(dòng)項(xiàng):{\rm Var}(\pmb \varepsilon) = \sigma^2 \bf I

為了統(tǒng)計(jì)推斷拨扶,在這里我們給出一個(gè)新的假定。

假定:在給定 {\bf X} 的情況下茁肠,\pmb \varepsilon|{\bf X} 的條件分布為正態(tài)分布患民,即:
\pmb \varepsilon|{\bf X} \sim N(0, \sigma^2 {\bf I})
由于正態(tài)分布有較好的性質(zhì):

  • 密度函數(shù)完全由均值和協(xié)方差矩陣決定
  • 兩個(gè)隨機(jī)變量不相關(guān)就是相互獨(dú)立
  • 正態(tài)分布的線性函數(shù)依然是正態(tài)分布

所以我們作此假設(shè)(這個(gè)假設(shè)的理論基礎(chǔ)是中心極限定理)。

注意:此前已經(jīng)的假設(shè)已經(jīng)保證 \pmb \varepsilon|{\bf X} 的期望是 \pmb 0 垦梆、方差是 \sigma^2 \bf I 酒奶。這個(gè)新的假設(shè)只是讓 \pmb \varepsilon|\bf X 滿足正態(tài)分布而已


3.6.2 假設(shè)檢驗(yàn)的基本思想

需要檢驗(yàn)的假設(shè)稱為“原假設(shè)”或“零假設(shè)”,在這里我們的零假設(shè)為 H_0: \beta_k = \bar{\beta_k} 奶赔,通常 \bar{\beta_k}=0 惋嚎。這個(gè)時(shí)候我們實(shí)際上檢驗(yàn)的是回歸系數(shù)是否顯著地不為零。

假設(shè)檢驗(yàn)是一種概率意義上的反證法站刑,即首先假設(shè)原假設(shè)成立的前提下另伍,是否導(dǎo)致不太可能發(fā)生的小概率事件在一次抽樣中發(fā)生。如果小概率事件居然在一次抽樣實(shí)驗(yàn)中被觀測(cè)到绞旅,則說(shuō)明原假設(shè)不太可信摆尝,應(yīng)該拒絕原假設(shè),轉(zhuǎn)而接受\beta_k \neq \bar{\beta_k} 因悲。


3.6.3 計(jì)量的第一大類檢驗(yàn):沃爾德檢驗(yàn)(Wald test)

直觀來(lái)說(shuō)堕汞,如果未知參數(shù) \beta_k 的估計(jì)值 b_k\bar{\beta}_k 較遠(yuǎn),則更應(yīng)該傾向于拒絕原假設(shè)晃琳。此類檢驗(yàn)稱為沃爾德檢驗(yàn)讯检。

在衡量距離時(shí)琐鲁,由于絕對(duì)距離依賴于變量的量綱,所以需要對(duì)距離進(jìn)行標(biāo)準(zhǔn)化人灼。前面已經(jīng)提到围段,在計(jì)量中,標(biāo)準(zhǔn)化的方法一般是除以標(biāo)準(zhǔn)差投放。

由于我們假設(shè) \pmb \varepsilon|{\bf X} \sim N(0, \sigma^2 {\bf I}) 奈泪,而前面已經(jīng)推導(dǎo) \pmb b -\pmb \beta = A \pmb \varepsilon ,所以 \pmb b -\pmb \beta|{\bf X} 也服從正態(tài)分布(正態(tài)分布的線性組合也是正態(tài)分布)灸芳。而且我們知道:
\pmb b - \pmb \beta \sim N(0, \sigma^2({\bf X'X})^{-1})

證明:說(shuō)實(shí)話這個(gè)前面已經(jīng)證明過(guò)的涝桅,這里復(fù)習(xí)一下好了

由于 {\rm E}(\pmb \varepsilon|{\bf X}) = 0 ,由期望算子的線性性烙样,必須有:
{\rm E}(A\pmb \varepsilon|{\bf X}) = A{\rm E}(\pmb \varepsilon|{\bf X})=A\cdot 0=0
由于{\rm Var}(\pmb \varepsilon|{\bf X}) = \sigma^2 \bf I 冯遂,由夾心估計(jì)量公式,有:
{\rm Var}(A\pmb \varepsilon|{\bf X})=A{\rm Var}(\pmb \varepsilon|{\bf X})A^\prime = A \sigma^2 {\bf I} A' = \sigma^2 AA'
代入 A = ({\bf X'X})^{-1}\bf X^\prime 误阻,馬上有:
{\rm Var}(\pmb \varepsilon|{\bf X})=\sigma^2({\bf X'X})^{-1}
證畢

所以晴埂,在原假設(shè) H_0: \beta_k = \bar{\beta_k} 成立的情況下究反,\pmb b -\pmb \beta 的第 k 個(gè)分量 b_k - \beta_k 滿足:
b_k -\beta_k = b_k - \hat \beta_k\sim N(0, \sigma^2({\bf X'X})_{kk}^{-1})
其中 \sigma^2({\bf X'X})_{kk}^{-1}b_k 的方差。

回顧多維正態(tài)分布的協(xié)方差矩陣 \bf \Sigma 的對(duì)角線元素為方差儒洛,非對(duì)角線元素為協(xié)方差

那么根據(jù)標(biāo)準(zhǔn)化公式 \frac{X-\mu}{\sigma} \sim N(0,1) 我們可以如法炮制:
\frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}} \sim N(0,1)
這就是假設(shè)檢驗(yàn)的基礎(chǔ)精耐。如果我們知道總體擾動(dòng)項(xiàng)的方差,那么就可以用正態(tài)分布進(jìn)行假設(shè)檢驗(yàn)琅锻。


3.6.4 定義 t 統(tǒng)計(jì)量

可是我們不知道 \sigma 柏酝!!

一個(gè)合格的檢驗(yàn)統(tǒng)計(jì)量應(yīng)該滿足:

  • 可以通過(guò)樣本計(jì)算出來(lái)的
  • 概率分布是知道的

所以我們除了估計(jì) \pmb \beta 以外务蝠,還需要估計(jì) \sigma 碉京。這是一個(gè)俄羅斯套娃膜蛔。

不過(guò),前面我們已經(jīng)證明小樣本OLS的一個(gè)性質(zhì)是 {\rm E}(s^2) = \sigma^2 小槐,那我們就可以用 s^2 來(lái)估計(jì) \sigma^2 了,你說(shuō)巧不巧荷辕。

定理:在小樣本OLS的5個(gè)基本假設(shè)下凿跳,如果 H_0: \beta_k = \bar{\beta_k} ,那么
t_k \equiv \frac{b_k-\hat\beta_k}{\sqrt{s^2 ({\bf X'X})_{kk}^{-1}}} \sim t(n-K)

證明:在前面我們已經(jīng)提到疮方,t 分布的兩個(gè)條件分別是:

  • \frac{N(0,1)}{\sqrt{\chi^2(k)/k}}
  • 分子分母要獨(dú)立

我們分別證明控嗜。

由于我們知道 \frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}} \sim N(0,1) ,所以這暗示我們要搞一個(gè) \sigma 在分母骡显,于是:
\frac{b_k-\hat\beta_k}{\sqrt{s^2 ({\bf X'X})_{kk}^{-1}}} = \frac{b_k-\hat\beta_k}{\sqrt{\sigma^2 ({\bf X'X})_{kk}^{-1}}} \frac{\sigma}{s} = \frac{N(0,1)}{s/\sigma}
然后我們需要證明 \frac{s}{\sigma} \sim \chi^2(n-K) 就可以了:
\frac{s^2}{\sigma^2} = \frac{\pmb{e'e}}{\sigma^2}=\frac{\pmb \varepsilon' M \pmb\varepsilon}{\sigma^2} = \frac{ \pmb \varepsilon' }{\sigma} M \frac{ \pmb \varepsilon }{\sigma}=二次型
由于 \pmb\varepsilon|{\bf X}\sim N(0,\sigma^2 {\bf I}) 疆栏,那么 \frac{\pmb\varepsilon}{\sigma}|{\bf X}\sim N(0,{\bf I}) 曾掂。前面已經(jīng)提到 M 滿足 M^2 = M ,即 M 是一個(gè)冪等矩陣承边。那么根據(jù)以下的引理:

如果 M 是一個(gè)冪等矩陣遭殉,而且 \pmb x \sim N(0,{\bf I}) ,那么二次型 \pmb x' M \pmb x \sim \chi^2({\rm rank}(M))

特別地博助,如果 M = {\bf I}_n 险污,引理就變?yōu)?\pmb x' \pmb x \sim \chi^2(n) ,這是顯然的

你可以理解為富岳, M 是不滿秩的類單位陣

應(yīng)用上面的引理蛔糯,就有:
\frac{ \pmb \varepsilon' }{\sigma} M \frac{ \pmb \varepsilon }{\sigma} \sim \chi^2({\rm rank}(M)) = \chi^2(n-K)
接下來(lái)證明 \frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}}\frac{\sigma}{s} 相互獨(dú)立:我們知道,在 \bf X 已經(jīng)給定的條件下窖式, \frac{b_k-\hat\beta_k - 0}{\sqrt{\sigma^2({\bf X'X})_{kk}^{-1}}}\pmb b 的函數(shù)蚁飒,而 \frac{\sigma}{s}\pmb e 的函數(shù)。所以我們只需要證明 \pmb b\pmb e 相互獨(dú)立即可萝喘。

我們?cè)谇懊嬉呀?jīng)假設(shè)了 \pmb b = \pmb \beta +A\pmb\varepsilon \sim N 淮逻,\pmb e = M\pmb\varepsilon \sim N ,故只需要證明 {\rm Cov}(\pmb b, \pmb e |{\bf X})=0 就可以證明它們相互獨(dú)立(正態(tài)分布的不相關(guān)就是獨(dú)立):
{\rm Cov}(\pmb b, \pmb e|{\bf X}) = {\rm Cov}(\pmb \beta + A \pmb \varepsilon, M\pmb \varepsilon|{\bf X})={\rm Cov}(A \pmb \varepsilon, M\pmb \varepsilon|{\bf X})
根據(jù)方差的方便公式(向量){\rm Var}(\pmb X) = {\rm E}(\pmb X\pmb X') - {\rm E}(\pmb X)[{\rm E}(\pmb X)]^\prime 阁簸,我們可以推廣到協(xié)方差的計(jì)算為(證明略):
{\rm Cov}(\pmb X,\pmb Y) = {\rm E}(\pmb X\pmb Y') - {\rm E}(\pmb X)[{\rm E}(\pmb Y)]^\prime
于是:
\begin{split} 原式&={\rm E}(A \pmb \varepsilon (M \pmb \varepsilon)^\prime|{\bf X}) - \underbrace{{\rm E}(A\pmb \varepsilon|{\bf X})}_{=\pmb 0}[\underbrace{{\rm E}(M\pmb\varepsilon|{\bf X})}_{=\pmb 0}]^\prime \\ &={\rm E}(A \pmb \varepsilon \pmb \varepsilon^\prime M^\prime|{\bf X})\\ (M是對(duì)稱陣)& = A {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X})M \end{split}
注意到:(使用嚴(yán)格外生性假設(shè))
{\rm Var}(\pmb \varepsilon | {\bf X}) = {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X}) - \underbrace{{\rm E}(\pmb \varepsilon)}_{=\pmb 0}[{\rm E}(\pmb \varepsilon)]^\prime = {\rm E}(\pmb \varepsilon \pmb \varepsilon^\prime|{\bf X}) = \sigma^2{\bf I}

于是:
\begin{split} 原式&=\sigma^2AM = \sigma^2 ({\bf X}^\prime{\bf X})^{-1}{\bf X}^\prime M\\ &=\sigma^2({\bf X}^\prime{\bf X})^{-1}(\underbrace{M{\bf X}}_{=\pmb 0})^\prime = \pmb 0 \end{split}
證畢爬早。

更一般地,如果我們要對(duì)某個(gè)所估計(jì)的參數(shù)進(jìn)行沃爾德檢驗(yàn)启妹,那么有以下的通用公式:
\frac{估計(jì)量-假想值}{估計(jì)量的標(biāo)準(zhǔn)誤} \sim 某個(gè)分布
其實(shí)這就是沃爾德檢驗(yàn)的思想:估計(jì)量和假想值不應(yīng)該太遠(yuǎn)筛严。實(shí)際上,計(jì)量經(jīng)濟(jì)學(xué)有三大類檢驗(yàn):

  • 沃爾德檢驗(yàn)
  • 似然比檢驗(yàn)
  • 拉格朗日乘子檢驗(yàn)

他們的用處各有不同饶米,后面會(huì)慢慢學(xué)到桨啃。


3.6.5 t 檢驗(yàn)和 p

計(jì)算了 t 統(tǒng)計(jì)量后,如果 |t_k| 很大檬输,則原假設(shè) H_0 不可信照瘾。使用絕對(duì)值是因?yàn)槟愕墓烙?jì)量可以比假想值小很多,也可以比它大很多丧慈,這都不妨礙推翻原假設(shè)网杆。只要估計(jì)比離假想值足夠遠(yuǎn)就可以了。

它的基本思想是:你觀測(cè)到的估計(jì)量偏離你的假想值太多了伊滋,以至于它出現(xiàn)的概率很小碳却。而這么小概率的事情居然出現(xiàn)了,說(shuō)明原假設(shè) H_0 不可信笑旺。

那這個(gè)所謂的“它出現(xiàn)的概率”是多少呢昼浦?就是 p。由于我們所計(jì)算的統(tǒng)計(jì)量( t_k )服從 t 分布筒主,所以我們也叫它 t 檢驗(yàn)关噪。如何從 t 值計(jì)算 p 值呢鸟蟹,它是這樣計(jì)算的:
\begin{split} p = {\rm P}(t>|t_k|) \times 2 &= [1 - {\rm P}(t<|t_k|)]\times 2\\ &=[1- {\rm P}(-t_k < t < t_k)] \times 2\\ &=\{1- [{\rm P}(t < t_k) - {\rm P}(t < -t_k)]\} \times 2\\ \end{split}
在這里, t 分布的自由度是 n-K 使兔。之所以要寫(xiě)的這么詳細(xì)建钥,是因?yàn)樵谝恍┯?jì)算機(jī)語(yǔ)言中,它給出了 t 分布的累積分布函數(shù)虐沥。比方說(shuō)這個(gè)函數(shù)是

def T(t, freedom):
  '''
  t: 要計(jì)算的t統(tǒng)計(jì)量
  freedom: 自由度
  '''
  return T分布在t處的累積分布函數(shù)

那么你就可以通過(guò)這樣計(jì)算 p 值:

t = 你計(jì)算的t統(tǒng)計(jì)量
p = (1 - ( T(t, n-K) - T(-t, n-K)))*2

不過(guò)說(shuō)實(shí)話很多計(jì)算機(jī)的統(tǒng)計(jì)包都會(huì)在返回回歸結(jié)果時(shí)自動(dòng)匯報(bào)統(tǒng)計(jì)量熊经。搞這么細(xì)主要是用于開(kāi)發(fā)自己的計(jì)量工具用的。


3.6.6 犯第幾類錯(cuò)誤欲险?

統(tǒng)計(jì)學(xué)中有第I類錯(cuò)誤第II類錯(cuò)誤的概念镐依。

  • 第I類錯(cuò)誤:{\rm P}(拒絕了H_0|實(shí)際上H_0是對(duì)的)
  • 第II類錯(cuò)誤:{\rm P}(接受了H_0|實(shí)際上H_0是錯(cuò)的)

原理上,這兩類錯(cuò)誤不可能同時(shí)減少天试。我們?cè)谶M(jìn)行假設(shè)檢驗(yàn)時(shí)槐壳,通常知道第一類錯(cuò)誤發(fā)生的概率,這也是 p 值的類別喜每。你只需要記孜裉啤:如果拒絕 H_0 我們可以理直氣壯,但我們并沒(méi)有把握接受 H_0 的带兜。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末枫笛,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子鞋真,更是在濱河造成了極大的恐慌崇堰,老刑警劉巖沃于,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件涩咖,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡繁莹,警方通過(guò)查閱死者的電腦和手機(jī)檩互,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)咨演,“玉大人闸昨,你說(shuō)我怎么就攤上這事”》纾” “怎么了饵较?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)遭赂。 經(jīng)常有香客問(wèn)我循诉,道長(zhǎng),這世上最難降的妖魔是什么撇他? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任茄猫,我火速辦了婚禮狈蚤,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘划纽。我一直安慰自己脆侮,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布勇劣。 她就那樣靜靜地躺著靖避,像睡著了一般。 火紅的嫁衣襯著肌膚如雪芭毙。 梳的紋絲不亂的頭發(fā)上筋蓖,一...
    開(kāi)封第一講書(shū)人閱讀 51,718評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音退敦,去河邊找鬼粘咖。 笑死,一個(gè)胖子當(dāng)著我的面吹牛侈百,可吹牛的內(nèi)容都是我干的瓮下。 我是一名探鬼主播,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼钝域,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼讽坏!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起例证,我...
    開(kāi)封第一講書(shū)人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤路呜,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后织咧,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體胀葱,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年笙蒙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了抵屿。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡捅位,死狀恐怖轧葛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情艇搀,我是刑警寧澤尿扯,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站焰雕,受9級(jí)特大地震影響衷笋,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜淀散,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一右莱、第九天 我趴在偏房一處隱蔽的房頂上張望蚜锨。 院中可真熱鬧,春花似錦慢蜓、人聲如沸亚再。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)氛悬。三九已至,卻和暖如春耘柱,著一層夾襖步出監(jiān)牢的瞬間如捅,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工调煎, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留镜遣,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓士袄,卻偏偏與公主長(zhǎng)得像悲关,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子娄柳,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355