推論統(tǒng)計挽鞠,首先想到的是假設(shè)檢驗疚颊,,
等等信认,學(xué)習(xí)的時候都會做材义,然而仔細(xì)想想,真明白嗎嫁赏?回想我自己的經(jīng)歷其掂,可能經(jīng)過了3-4輪的思考,終于從應(yīng)用深入到了到底那是什么的程度¢辖蹋現(xiàn)在清寇,請你來與我一同分享我對假設(shè)檢驗的理解喘漏。
Q1: 假設(shè)檢驗是什么?
假設(shè)檢驗是一種反證法华烟。
統(tǒng)計翩迈,分為描述統(tǒng)計與推論統(tǒng)計。顧名思義盔夜,描述統(tǒng)計如同畫畫似的负饲,將一個事務(wù)的特征用數(shù)字描繪出來,每一幅數(shù)碼相片背后是一組組的數(shù)字喂链,將這組數(shù)字經(jīng)過總結(jié)(我認(rèn)為總結(jié)便是降低維度), 變成容易記憶的數(shù)字返十,這些數(shù)字能在人的腦海里刻畫出一個可識別的形象。那便是描述統(tǒng)計椭微。
推論統(tǒng)計洞坑,根據(jù)已有現(xiàn)狀去推斷整體,尋找規(guī)律蝇率〕僭樱回歸像是求同;聚類本慕,像是求異排拷;假設(shè)檢驗判別是同是異,是同锅尘,
是異监氢。
"幸福的家庭大都相似,不幸的家庭卻各有不同"---托爾斯泰
用True or False 來求證因何而異實在是太困難了藤违,不能證明浪腐,便去證偽。不同顿乒,便是異牛欢,Genius!假設(shè)檢驗在做“不同”的證明淆游,不能證明“不同”,則不能拒絕隔盛,那么便是
了犹菱。當(dāng)這里會有中間地帶,稱為Type I吮炕, Type II Error腊脱,HORN,拒絕了不該拒絕的龙亲,或沒有拒絕改拒絕的陕凹。這已是細(xì)枝末節(jié)悍抑,不影響整體概念。
Q2: 假設(shè)檢驗的內(nèi)容是什么杜耙?
兩組數(shù)搜骡。不是單個數(shù)值的比較,而是兩類數(shù)值的比較佑女。用假設(shè)檢驗的方法來證明這兩類數(shù)是否存在差異记靡。
這里指的數(shù)組是什么概念呢?比如人的身高团驱,是一組數(shù)摸吠,并且這組數(shù)有一定特征,大致分布在0.5米至2.3米之間嚎花,身高在1.6~1.8米的人占大多數(shù)寸痢。如果,我們想知道人的身高與猩猩的身高是否有差異紊选,將兩組數(shù)進(jìn)行比較啼止,這兩組如果分布形態(tài)上一致,說明沒有差異丛楚,不一致族壳,說明有差異。
這里我們充分利用描述統(tǒng)計學(xué)的內(nèi)容趣些,將兩個總體的分布進(jìn)行比較仿荆,平均數(shù),中位值坏平,離散程度拢操,偏度,峰度等舶替。好在統(tǒng)計可以將概率函數(shù)描繪出來令境,根據(jù)身高的值得知在這個身高下有多少比例的人或猩猩。幾個數(shù)字一碰便得知了兩組數(shù)據(jù)是否一致顾瞪。
若已經(jīng)充分了解了這兩組數(shù)舔庶,不用假設(shè)檢驗,直接比較好了陈醒。然而惕橙,實際上沒有可能去統(tǒng)計所有的人和猩猩的身高。退一步钉跷,抽樣來推斷總體弥鹦,由總體去比較。這是假設(shè)檢驗的核心內(nèi)容爷辙。
Q3: 抽樣與總體
抽樣這東西猶如盲人摸象彬坏,天知道摸到什么朦促,能描繪出什么?拿抽樣的去比較栓始,若樣本與總體并非相似务冕,那這個比較也就沒有意義了。好在中心極限定理幫了大忙混滔,抽樣次數(shù)越多洒疚,抽樣的平均值逼近總體平均值,且總體平均值呈現(xiàn)正態(tài)分布坯屿,其離散程度逐漸縮小油湖,最后就是一根直線了。
n = [10,100,1000]
p = 0.5
fig, AX = plt.subplots(ncols=3, nrows=1, figsize=(15,5), dpi=288)
for i, ax in enumerate(AX):
se = np.sqrt(p*(1-p)/n[i])
distribution = stats.norm(loc = 0, scale=se)
x = np.linspace(-1,1,100)
y = distribution.pdf(x)
ax.plot(x,y)
ax.set_title('n={}'.format(n[I]))
??三幅圖领跛,分別為抽樣10次乏德,100次,1000次吠昭,平均數(shù)的分布喊括。平均數(shù)已知了,那么只要平均數(shù)不等矢棚,兩組數(shù)則不等郑什,輕松證偽刁赦。
Q4: 置信區(qū)間與顯著水平
樣本的平均值所反映出總體的平均值不是一個確定的值弥奸,樣本不等于總體,依然這個平均值是一個范圍畦木,有其分布兜粘,抽樣多了申窘,這個分布呈現(xiàn)正態(tài)分布。
import scipy.stats as stats
norm = stats.norm(0,1)
x = np.linspace(-4,4,200)
y = norm.pdf(x)
正態(tài)分布是一個概率曲線(pdf)孔轴,線上的點由(x,y)坐標(biāo)組成剃法,知道x就知道y。曲線下至x軸所有的面積是累積概率(cdf)路鹰,左側(cè)曲線開始的地方cdf贷洲,累積概率為0,右側(cè)結(jié)束的地方累積概率為1晋柱,顯著水平若設(shè)5%恩脂,置信區(qū)間為[2.5%, 97.5%],當(dāng)然置信區(qū)間可以移動趣斤,看用途了。
顯著水平明顯是個人設(shè)黎休,用于確定置信區(qū)間上限浓领、下限玉凯,以確定累積概率對應(yīng)在x軸上的值,大于联贩、小于都拒絕漫仆,說明兩組數(shù)平均值相同的概率小于顯著水平(概率,累積概率)泪幌。
Q5: 自由度
再回到總體與樣本盲厌。抽樣次數(shù)越多,抽樣的平均值離總體平均值越近祸泪,方差越小吗浩。自由度,其實就是樣本數(shù)量没隘。樣本數(shù)量少懂扼,樣本與總體的離差大,更難證偽右蒲。找一個人和一個猩猩就能證明整體身高差異了阀湿?顯然不行。除非差異巨大瑰妄,比如大象和螞蟻陷嘴,一頭大象,一只螞蟻足以间坐。
只要有差異灾挨,即使很小,若樣本足夠大眶诈,也是能發(fā)現(xiàn)的涨醋。總體上均值有差異逝撬,便是有差異浴骂,怎么都有差異。
總結(jié)
假設(shè)檢驗宪潮,在干什么溯警?
- 比較總體的均值是否有差異;
- 不知道均值所以要從樣本去推斷總體的均值狡相;
- 中心極限定理告訴我們大多數(shù)情況下梯轻,抽樣次數(shù)多了,均值呈現(xiàn)正態(tài)分布尽棕;
- 用推斷的均值分布來度量是否所比較的總體均值相等喳挑;
- 樣本數(shù)量少的情況下,離散程度上需要對其懲罰,不能簡單套用標(biāo)準(zhǔn)正態(tài)分布(z檢驗與t檢驗的差別)
- 不是所有的均值都呈現(xiàn)正態(tài)分布伊诵,比如方差的均值单绑。