重新思考假設(shè)檢驗

推論統(tǒng)計挽鞠,首先想到的是假設(shè)檢驗疚颊,H_0,H_1,T_value, Z_value 等等信认,學(xué)習(xí)的時候都會做材义,然而仔細(xì)想想,真明白嗎嫁赏?回想我自己的經(jīng)歷其掂,可能經(jīng)過了3-4輪的思考,終于從應(yīng)用深入到了到底那是什么的程度¢辖蹋現(xiàn)在清寇,請你來與我一同分享我對假設(shè)檢驗的理解喘漏。

Q1: 假設(shè)檢驗是什么?

假設(shè)檢驗是一種反證法华烟。

統(tǒng)計翩迈,分為描述統(tǒng)計與推論統(tǒng)計。顧名思義盔夜,描述統(tǒng)計如同畫畫似的负饲,將一個事務(wù)的特征用數(shù)字描繪出來,每一幅數(shù)碼相片背后是一組組的數(shù)字喂链,將這組數(shù)字經(jīng)過總結(jié)(我認(rèn)為總結(jié)便是降低維度), 變成容易記憶的數(shù)字返十,這些數(shù)字能在人的腦海里刻畫出一個可識別的形象。那便是描述統(tǒng)計椭微。

推論統(tǒng)計洞坑,根據(jù)已有現(xiàn)狀去推斷整體,尋找規(guī)律蝇率〕僭樱回歸像是求同;聚類本慕,像是求異排拷;假設(shè)檢驗判別是同是異,H_0是同锅尘,H_1是異监氢。

"幸福的家庭大都相似,不幸的家庭卻各有不同"---托爾斯泰

用True or False 來求證因何而異實在是太困難了藤违,不能證明浪腐,便去證偽。不同顿乒,便是異牛欢,Genius!假設(shè)檢驗在做“不同”的證明淆游,不能證明“不同”,則不能拒絕H_0隔盛,那么便是H_1了犹菱。當(dāng)這里會有中間地帶,稱為Type I吮炕, Type II Error腊脱,HORN,拒絕了不該拒絕的龙亲,或沒有拒絕改拒絕的陕凹。這已是細(xì)枝末節(jié)悍抑,不影響整體概念。

Q2: 假設(shè)檢驗的內(nèi)容是什么杜耙?

兩組數(shù)搜骡。不是單個數(shù)值的比較,而是兩類數(shù)值的比較佑女。用假設(shè)檢驗的方法來證明這兩類數(shù)是否存在差異记靡。

這里指的數(shù)組是什么概念呢?比如人的身高团驱,是一組數(shù)摸吠,并且這組數(shù)有一定特征,大致分布在0.5米至2.3米之間嚎花,身高在1.6~1.8米的人占大多數(shù)寸痢。如果,我們想知道人的身高與猩猩的身高是否有差異紊选,將兩組數(shù)進(jìn)行比較啼止,這兩組如果分布形態(tài)上一致,說明沒有差異丛楚,不一致族壳,說明有差異。

這里我們充分利用描述統(tǒng)計學(xué)的內(nèi)容趣些,將兩個總體的分布進(jìn)行比較仿荆,平均數(shù),中位值坏平,離散程度拢操,偏度,峰度等舶替。好在統(tǒng)計可以將概率函數(shù)描繪出來令境,根據(jù)身高的值得知在這個身高下有多少比例的人或猩猩。幾個數(shù)字一碰便得知了兩組數(shù)據(jù)是否一致顾瞪。

若已經(jīng)充分了解了這兩組數(shù)舔庶,不用假設(shè)檢驗,直接比較好了陈醒。然而惕橙,實際上沒有可能去統(tǒng)計所有的人和猩猩的身高。退一步钉跷,抽樣來推斷總體弥鹦,由總體去比較。這是假設(shè)檢驗的核心內(nèi)容爷辙。

Q3: 抽樣與總體

抽樣這東西猶如盲人摸象彬坏,天知道摸到什么朦促,能描繪出什么?拿抽樣的去比較栓始,若樣本與總體并非相似务冕,那這個比較也就沒有意義了。好在中心極限定理幫了大忙混滔,抽樣次數(shù)越多洒疚,抽樣的平均值逼近總體平均值,且總體平均值呈現(xiàn)正態(tài)分布坯屿,其離散程度逐漸縮小油湖,最后就是一根直線了。

n = [10,100,1000]
p = 0.5

fig, AX = plt.subplots(ncols=3, nrows=1, figsize=(15,5), dpi=288)
for i, ax in enumerate(AX):
    se = np.sqrt(p*(1-p)/n[i])
    distribution = stats.norm(loc = 0, scale=se)
    x = np.linspace(-1,1,100)
    y = distribution.pdf(x)
    ax.plot(x,y)
    ax.set_title('n={}'.format(n[I]))

image.png

??三幅圖领跛,分別為抽樣10次乏德,100次,1000次吠昭,平均數(shù)的分布喊括。平均數(shù)已知了,那么只要平均數(shù)不等矢棚,兩組數(shù)則不等郑什,輕松證偽刁赦。

Q4: 置信區(qū)間與顯著水平

樣本的平均值所反映出總體的平均值不是一個確定的值弥奸,樣本不等于總體,依然這個平均值是一個范圍畦木,有其分布兜粘,抽樣多了申窘,這個分布呈現(xiàn)正態(tài)分布。

import scipy.stats as stats

norm = stats.norm(0,1)
x = np.linspace(-4,4,200)
y = norm.pdf(x)
image.png

正態(tài)分布是一個概率曲線(pdf)孔轴,線上的點由(x,y)坐標(biāo)組成剃法,知道x就知道y。曲線下至x軸所有的面積是累積概率(cdf)路鹰,左側(cè)曲線開始的地方cdf贷洲,累積概率為0,右側(cè)結(jié)束的地方累積概率為1晋柱,顯著水平若設(shè)5%恩脂,置信區(qū)間為[2.5%, 97.5%],當(dāng)然置信區(qū)間可以移動趣斤,看用途了。

顯著水平明顯是個人設(shè)黎休,用于確定置信區(qū)間上限浓领、下限玉凯,以確定累積概率對應(yīng)在x軸上的值,大于联贩、小于都拒絕漫仆,說明兩組數(shù)平均值相同的概率小于顯著水平(概率,累積概率)泪幌。

Q5: 自由度

再回到總體與樣本盲厌。抽樣次數(shù)越多,抽樣的平均值離總體平均值越近祸泪,方差越小吗浩。自由度,其實就是樣本數(shù)量没隘。樣本數(shù)量少懂扼,樣本與總體的離差大,更難證偽右蒲。找一個人和一個猩猩就能證明整體身高差異了阀湿?顯然不行。除非差異巨大瑰妄,比如大象和螞蟻陷嘴,一頭大象,一只螞蟻足以间坐。

image.png

只要有差異灾挨,即使很小,若樣本足夠大眶诈,也是能發(fā)現(xiàn)的涨醋。總體上均值有差異逝撬,便是有差異浴骂,怎么都有差異。

總結(jié)

假設(shè)檢驗宪潮,在干什么溯警?

  1. 比較總體的均值是否有差異;
  2. 不知道均值所以要從樣本去推斷總體的均值狡相;
  3. 中心極限定理告訴我們大多數(shù)情況下梯轻,抽樣次數(shù)多了,均值呈現(xiàn)正態(tài)分布尽棕;
  4. 用推斷的均值分布來度量是否所比較的總體均值相等喳挑;
  5. 樣本數(shù)量少的情況下,離散程度上需要對其懲罰,不能簡單套用標(biāo)準(zhǔn)正態(tài)分布(z檢驗與t檢驗的差別)
  6. 不是所有的均值都呈現(xiàn)正態(tài)分布伊诵,比如方差的均值单绑。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市曹宴,隨后出現(xiàn)的幾起案子搂橙,更是在濱河造成了極大的恐慌,老刑警劉巖笛坦,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件区转,死亡現(xiàn)場離奇詭異,居然都是意外死亡版扩,警方通過查閱死者的電腦和手機(jī)废离,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來资厉,“玉大人厅缺,你說我怎么就攤上這事⊙绯ィ” “怎么了湘捎?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長窄刘。 經(jīng)常有香客問我窥妇,道長,這世上最難降的妖魔是什么娩践? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任活翩,我火速辦了婚禮,結(jié)果婚禮上翻伺,老公的妹妹穿的比我還像新娘材泄。我一直安慰自己,他們只是感情好吨岭,可當(dāng)我...
    茶點故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布拉宗。 她就那樣靜靜地躺著,像睡著了一般辣辫。 火紅的嫁衣襯著肌膚如雪旦事。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天急灭,我揣著相機(jī)與錄音姐浮,去河邊找鬼。 笑死葬馋,一個胖子當(dāng)著我的面吹牛卖鲤,可吹牛的內(nèi)容都是我干的肾扰。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼扫尖,長吁一口氣:“原來是場噩夢啊……” “哼白对!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起换怖,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蟀瞧,沒想到半個月后沉颂,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡悦污,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年铸屉,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片切端。...
    茶點故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡彻坛,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出踏枣,到底是詐尸還是另有隱情昌屉,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布茵瀑,位于F島的核電站间驮,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏马昨。R本人自食惡果不足惜竞帽,卻給世界環(huán)境...
    茶點故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望鸿捧。 院中可真熱鬧屹篓,春花似錦、人聲如沸匙奴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽饥脑。三九已至恳邀,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間灶轰,已是汗流浹背谣沸。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留笋颤,地道東北人乳附。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓内地,卻偏偏與公主長得像,于是被迫代替她去往敵國和親赋除。 傳聞我的和親對象是個殘疾皇子阱缓,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容